本研究探讨了语言模型中标记粒度对惊讶度预测的影响，提出了一种新方法。结果表明，标记粒度显著影响预测能力，尤其是8,000词汇量的标记最具预测性，对认知建模应用具有重要意义。

本研究解决了大型语言模型在训练过程中，因交叉熵计算导致的内存消耗过高的问题。提出了一种新的方法——Cut Cross-Entropy (CCE)，该方法不需要在全局内存中生成所有的logits，而是仅计算正确token的logit，并动态评估log-sum-exp。实验结果表明，CCE显著减少了内存占用，同时不影响训练速度和收敛性。

本研究提出了一种高性价比的方法，解决双语大型语言模型在英语与其他语言间支持不足的问题。通过扩大词汇量和新嵌入初始化，显著提升了生成文本质量，促进了对低代表性语言的公平支持。

本研究考察了不同的分词策略和词汇量对阿拉伯语言模型在自然语言处理任务中的影响。结果显示，Farasa的字节对编码在多个任务中表现优于其他策略，而词汇量对模型性能的影响有限。建议改进分词策略以解决方言挑战，并扩大数据集以涵盖丰富的基于方言的阿拉伯语言。

本文介绍了使用字符级循环神经网络的联邦学习方法，扩展智能手机虚拟键盘的词汇量，学习未知单词而不泄露敏感文本。研究表明该方法可行，模型对常用未知单词有良好识别和较低交叉熵损失。

研究发现，子词词汇大小与大型语言模型（LLM）性能呈正相关。使用更大的词汇大小可以提高LLM性能，并且使用新的词汇代替预定义的词汇也能提高模型性能。

本研究探究了分词策略和词汇量对阿拉伯语言模型在自然语言处理任务中的影响。结果显示Farasa的字节对编码在多个任务中表现优秀，但在情感分析中存在方言特定的问题。词汇量对模型性能的影响有限，挑战了既有信念。建议改进分词策略以解决方言挑战，并扩大数据集以涵盖丰富的基于方言的阿拉伯语言。这项研究为阿拉伯语言模型的发展奠定了基础。

本文介绍了一种新的预训练语言模型AlephBERTGimmel，适用于现代希伯来语，使用128K词汇表。与其他希伯来语模型进行对比分析，实验证明更大的词汇量可以提高模型性能，并在希伯来基准测试中取得了新的最佳结果。

我们提出了OpenOcc，一种将3D场景重建和开放词汇理解与神经辐射场结合的新型框架。通过占位表示法对场景的几何结构进行建模，并通过体素渲染将预训练的开放词汇模型蒸馏为3D语言场，以实现零-shot推理。实验证明，我们的方法在3D场景理解任务中取得了有竞争力的性能。

作者分享了自己在四级考试前几天刷完了100天的多邻国学习计划，认为碎片化时间的利用是值得的，可以提高句子组织能力和词汇量。他称赞了多邻国的教学方式和提醒功能，祝自己在英语四级考试中能一次通过。

DeepMind的新论文表明，大型预训练语言模型在多模式数据集上具有出色的压缩率。算术编码器能够实现出色的压缩效果，同时研究结果与缩放规律相吻合。增加词汇量可以提高较小模型的压缩率，但对于较大的模型来说情况恰恰相反。

该文提出了一种使用基于文本转图像的扩散模型进行文本到3D合成的方法，绕过了需要大规模标记的3D数据集和能够去噪的3D数据的限制。该方法使用梯度下降优化3D模型，并使用概率密度蒸馏引入的损失函数将2D扩散模型与3D模型相结合。该方法不需要3D训练数据，也不需要修改图像扩散模型，证明了使用预训练的图像扩散模型作为先验的有效性。

该论文提出了一种基于神经网络模型的分步神经机器翻译（FNMT）方法，解决了机器翻译中目标语言词汇量和未知词汇数的问题。在 IWSLT'15 英法任务中，该方法表现优异，与基于单词和基于 BPE 的神经机器翻译系统相当。