机器之心数据服务现已上线，提供高效稳定的数据获取，简化数据爬取流程。

DeepSeek-R1通过多头潜在注意力机制（MLA）实现模型迁移，仅需原始数据的0.3%-0.6%。该研究由复旦大学等机构联合提出，MHA2MLA方法有效降低推理成本，同时保持模型性能，适用于多种大语言模型。

MOSS是复旦大学邱锡鹏团队开源的对话语言模型，参数量为160亿，包括基座模型、微调模型和插件增强模型。MOSS还有量化版本，占用显存较少。baichuan-7B是百川智能开发的开源预训练语言模型，基于Transformer结构，训练数据量为1.2万亿，上下文窗口长度为4096。baichuan-7B在分词和数据集方面进行了优化，采用了多种方法提升模型效果和训练吞吐。

上周，复旦大学邱锡鹏教授团队推出了国内版的ChatGPT——MOSS，但由于访问量太大，暂时关闭，预计3月底开源。MOSS可以进行多轮交互，还可以生成表格、生成代码等，但中文水平不够高，清洗难度大。