DeepSeek与阿里通义推出Engram/N-Gram记忆模块，为Transformer增加“记忆硬盘”，将固定知识查找从计算中分离，提升推理效率。实验显示性能提升，但社区测试发现其擅长短语补全而非事实回忆，且DeepSeek V4未采用Engram。该技术尚处探索阶段，可能改变AI竞赛格局。

Telegram创始人杜罗夫宣布已向ICANN申请自有域名后缀.gram，若获批，所有用户将自动获得与账号绑定的域名（如id7371.gram），由Telegram自行运营。此举或因早前t.me域名被注册局整体封禁所致，自营域名可避免类似问题，仅需按指令封禁特定群组。目前等待审批中。

本文介绍了语言模型的发展历程，包括N-Gram、NPLM、RNN和LSTM等。N-Gram通过统计前n-1个词的概率进行预测，但缺乏泛化能力；NPLM引入词向量，具备一定的泛化能力；RNN和LSTM通过递归状态支持变长序列，解决了长期依赖问题。总结了N-Gram和Bag-of-Words的基本原理及应用。

美团 LongCat 团队推出了 LongCat-Flash-Lite，这是一款轻量化的 MoE 模型，参数量为685亿，推理时激活29亿至45亿参数。该模型在智能体和编程任务中表现优异，尤其在复杂工具使用和代码修复方面，现已开源，欢迎开发者体验。

本文探讨改进的 Gram-Schmidt 正交化方法，旨在解决经典方法中的数值不稳定性和误差。改进方法在每次计算后立即更新向量，保持正交性，从而提高数值稳定性。

本文探讨了Muon优化器的变体，提出通过放宽Gram矩阵约束设计多种流形约束优化器。Muon优化器通过正交化权重更新改善条件数，而流形Muon进一步将权重限制在特定几何形状上。研究表明，放宽约束可以在保持良好条件的同时提升优化器的灵活性和收敛速度。

Gram是一个开源平台，旨在解决AI代理在处理复杂MCP服务器时的上下文缺失问题。用户可以添加上下文、设计多步骤工具，并快速部署MCP服务器，从而提高API的可用性和扩展性。

LG推出了更新的超轻Gram和Gram Pro笔记本，新增云端和本地AI功能。16英寸Gram Pro为首款Copilot Plus PC，搭载Intel Lunar Lake处理器，支持最高32GB内存和2TB SSD，具备离线和云端AI功能，支持文件共享和接听电话。

本文介绍了自然语言处理中的语言模型技术体系的演进过程，包括古典时代、嵌入时代和深度学习时代。古典时代主要依赖统计和计数方法，嵌入时代引入了词向量来捕捉语义和句法信息，深度学习时代使用了RNN、LSTM和Transformer等模型来处理长距离上下文。N-gram模型解决了简单性、本地上下文捕捉和模型可解释性等问题，但存在稀疏性、固定窗口大小、缺乏语义理解和计算存储需求等问题。Word2Vec、GloVe、ELMo和BERT等模型解决了这些问题，并取得了显著的效果提升。BERT是一个双向语言模型，通过MLM和NSP任务进行预训练，并在下游任务中进行微调。这些模型的发展推动了自然语言处理的进一步发展。

word2vec是一种计算词向量的方法，使用余弦相似度计算词相似性。skip-gram模型使用负采样、高频词抽样和词组处理来提高词向量质量和训练速度。