艾伦人工智能研究所推出了Olmo 3,一个开源语言模型系列,提供完整的模型开发过程,包括检查点、训练数据集和工具,支持推理、指令跟随和强化学习。核心模型Olmo 3-Think(32B)专注于推理,允许开发者检查中间推理步骤。该系列在多个基准测试中表现优异,促进开放开发和社区参与。
艾伦人工智能研究所推出了开源大型语言模型Olmo 3,包含三种变体,表现优异,支持开发者定制。团队提供预训练数据集和评估工具,以提升模型质量。
AI2发布了OLMo 2,一个新的开源语言模型,参数规模为7B和13B。该模型采用改进的架构和训练方法,使用Dolmino Mix 1124数据,性能超过Llama 3.1,且代码和数据完全透明。
Allen人工智能研究所推出了OLMo 2系列开源语言模型,参数为70亿和130亿。该模型经过5万亿个标记训练,采用分阶段训练和多样化数据集,显著提升了训练稳定性和模型鲁棒性。在知识回忆、推理和语言能力方面,OLMo 2超越了前代模型,成为开源AI的新标杆。
阿里巴巴的Qwen团队推出了新AI模型QwQ-32B-Preview,参数达到325亿,推理能力与OpenAI的o1模型相当,但存在语言切换和常识推理不足的问题。DeepSeek的DeepSeek-R1-Lite-Preview模型具备实时推理能力。Ai2发布的OLMo 2系列模型符合开源标准,包含7亿和13亿参数的版本。Nvidia等公司也在持续推出新AI技术,推动行业发展。
PAI-TorchAcc是阿里云开发的Pytorch大模型训练加速框架,OLMo是完全开源的大语言模型。PAI-TorchAcc通过静态计算图和分布式优化提供高效训练支持。使用PAI-TorchAcc加速OLMo模型训练需要三个步骤,并可通过计算优化、通信优化和显存优化提高性能。在OLMo 1B和7B上,PAI-TorchAcc相比PyTorch FSDP加速比分别为1.64X和1.52X。PAI-TorchAcc易于接入其他大模型,并提升训练性能。
Databricks与AI2合作发布了开源大型语言模型OLMo 7B,AI2团队使用Databricks的Mosaic AI模型训练平台进行了训练,并共享了预训练数据和训练代码。
完成下面两步后,将自动完成登录并继续当前操作。