使用长序列微调Llama 3.1
原文英文，约1000词，阅读约需4分钟。发表于：。We are excited to announce that Mosaic AI Model Training now supports the full context length of 131K tokens when fine-tuning the Meta...
Databricks宣布，Mosaic AI Model Training现在支持在微调Meta Llama 3.1模型系列时的完整上下文长度为131K个标记。这使得客户能够使用长上下文长度的企业数据构建更高质量的Retrieval Augmented Generation (RAG)或工具使用系统。Llama 3.1模型的长上下文长度能够对大量输入信息进行推理，减少在RAG中的分块和重新排序的需求，或为代理提供更多工具描述。Databricks通过使用序列并行性来优化微调过程，将序列的激活内存分布到多个GPU上，减少了GPU内存占用并提高了训练效率。微调过程中使用的内部Llama表示使得序列并行性成为可能，同时提高了训练吞吐量并需要更小的内存占用。客户可以通过UI或以Python编程的方式开始微调Llama 3.1模型。
