不仅仅是微调:NVIDIA RTX AI Toolkit 现支持多LoRA
原文英文,约900词,阅读约需4分钟。发表于: 。Large language models are driving some of the most exciting developments in AI with their ability to quickly understand, summarize and generate text-based content.
NVIDIA发布了RTX AI Toolkit的更新版本,允许开发者同时使用多个LoRA适配器。这些适配器可以将精调模型的性能提高多达6倍。精调是为了将大型语言模型(LLMs)定制为特定用例。LoRA适配器作为补丁文件,与基础模型在推理过程中无缝集成。这种多LoRA服务技术允许开发者通过并行处理多个调用来高效使用AI模型。更新的工具包提供了一种强大的加速LLM能力的新方法。