微软新的小语言模型 Phi-3-mini，它的性能让人震惊。尽管只有 30 亿个参数，但该模型功能强大，可以在各种任务中提供一流的结果。Phi-3-mini 的效率改变了游戏规则，使我们能够在本地运行大型语言模型而不牺牲性能。其多功能性凸显，可以轻松处理从创意内容生成到复杂问题解决的所有事务。Phi-3-mini 由 Microsoft 开发并在 MIT 许可下开源，对于任何想要探索大型语言模型世界的人来说，它是一个可靠且易于访问的选择。相关： 链接到带有 4K 代币上下文窗口的 Phi-3-mini 链接到带有 128K 代币上下文窗口的 Phi-3-mini HuggingChat 演示

OpenELM：具有开源训练和推理框架的高效语言模型系列OpenELM 使用分层缩放策略来有效地分配变压器模型每一层内的参数，从而提高准确性。我们使用CoreNet库预训练 OpenELM 模型。我们发布了具有 270M、450M、1.1B 和 3B 参数的预训练和指令调整模型。我们的预训练数据集包含RefinedWeb、去重PILE、RedPajama 的子集和Dolma v1.6 的子集，总计约1.8 万亿个token。使用这些数据集之前，请检查许可协议和条款。各型号的详细信息请参见下表： OpenELM-270M OpenELM-450M OpenELM-1_1B OpenELM-3B

对大型语言模型在持续学习、预训练、微调以及评估协议方面进行综述.

生成常识推理（GCR）需要模型利用常识知识进行推理，同时生成连贯的句子。本论文提出了一种简单的方法来增加大型语言模型（LLMs）生成的多样性，同时保持生成质量。实验结果表明，该方法在生成质量和多样性之间取得了理想的平衡，并且所生成的句子可用于改善现有常识生成器的多样性。

本研究旨在分析和讨论 ChatGPT 和 Gemini 等模型中的语言歧义，关注巴西葡萄牙语中的语义、句法和词汇歧义。通过创建一个包含 120 个歧义和非歧义句子的语料库，进行分类、解释和消除歧义。结果经过定性分析和基于回答准确性的定量评估，证明了即使是像 ChatGPT 和 Gemini 这样先进的模型在回答中也存在错误和不足，解释通常是不一致的。此外，准确性达到了 49.58％的峰值，表明有必要进行有监督学习的描述性研究。

该研究提出了一种方法来研究 Transformer 语言模型内部如何表示数字数据，并使用该方法分析了 ALBERT 语言模型系列。通过主成分分析（PCA），我们提取这些模型用于表示数字和序数的令牌的学习嵌入，PCA 结果显示不同大小、训练和初始化分开的 ALBERT 模型一致地学习使用变化最大的轴来表示各种数值概念的近似排序，数字及其文本对应部分分别在不同的簇中表示，但在 2D 空间中沿着相同的方向增长。我们的发现表明，纯粹用于建模文本的语言模型可以理解基本的数学概念，为与定量推理交叉的 NLP 应用开辟了新的发展路径。

我们介绍了 SEED-Bench-2-Plus，这是一个专门设计用于评估 MLLMs 的文本丰富视觉理解的基准，通过涵盖现实世界中的三个广泛类别（图表、地图和网络），它们有效地模拟了复杂多样的文本丰富环境，并强调了当前 MLLMs 在文本丰富视觉理解方面的限制。

提出了一个评估大型语言模型（LLM）在时间序列理解方面能力的框架，包括单变量和多变量形式；通过研究时间序列的特征以及设计和合成数据集来评估 LLMs 在时间序列理解方面的能力，并揭示了 LLMs 对数据格式、查询数据的位置和时间序列长度等因素的敏感性。

想象一下，你提供一个 LLM《哈利-波特》里的一章，让它数一数 "巫师 "这个词被提到了多少次。GPT4、Claude 3 Opus、Gemini Ultra 和 Mixtral，但在这项任务中都失败了。

通过真实冲突文档更新错误的派生参数知识来研究知识冲突，结果显示模型的正确派生参数知识对其阅读能力和行为产生负面影响。