AvaTaR：优化 LLM 代理以实现辅助工具的知识检索
内容提要
LARA在多轮意图分类任务中表现优异，准确率提高3.67%。LLaVA-Plus扩展了多模态助手功能，提升了工具使用性能。新基准系统ToolQA评估LLMs使用外部工具的能力。SciAgent在科学问题上表现突出，准确率超越其他LLMs。Tool-LMM系统通过多模态编码器有效处理多模态输入指令。
延伸解读
工具增强语言模型的研究趋势
文章汇总了多项研究，显示大型语言模型正从追求全知全能转向成为专业工具使用者。通过引入外部工具集，如SciAgent构建的MathFunc语料库和SciToolBench基准，模型在科学推理等任务上的可行性得到提升。这种趋势强调工具检索、理解和使用的能力，而非单纯扩大模型参数。
多模态助手与工具使用的性能提升
LLaVA-Plus和Tool-LMM等系统展示了多模态助手在工具使用上的进步。LLaVA-Plus通过激活相关工具并维护技能存储库，显著提高了工具使用性能；Tool-LMM则利用多模态编码器使LLM能根据多模态指令推荐适当工具。这些工作表明，结合视觉和语言模型可以扩展助手的功能边界。
评估基准与任务规划的重要性
文章提到了多个评估基准，如ToolQA用于评估LLM使用外部工具的能力，以及针对家庭服务实体代理的任务规划基准。这些基准通过自动化过程管理数据集，并设计专门工具进行交互，有助于量化模型性能并推动语言导向的任务规划器发展。
检索增强与迁移学习在专业领域的应用
在教科书问答等专业领域，检索增强生成和迁移学习被用于处理领域外情况。通过对Llama-2进行监督微调和引入RAG，模型在非图表多项选择题上的精度得到提升。这表明结合外部知识检索和领域适应可以改善复杂语境下的推理能力。
Q&A
LARA在多轮意图分类任务中的表现如何？
LARA在多轮意图分类任务中提高了3.67%的平均准确率，表现处于最先进水平。
LLaVA-Plus的主要功能是什么？
LLaVA-Plus扩展了多模态助手功能，显著提高了工具使用性能，并维护了一个预训练的视觉和视觉语言模型的技能存储库。
ToolQA系统的目的是什么？
ToolQA是一个新基准系统，用于评估大型语言模型使用外部工具的能力。
SciAgent在科学问题上的表现如何？
SciAgent在科学问题上表现突出，准确率超过其他大型语言模型。
Tool-LMM系统是如何处理多模态输入的？
Tool-LMM系统通过多模态编码器有效处理多模态输入指令，能够推荐适当的工具。
如何提高大型语言模型的任务规划性能？
通过对大型语言模型和提示进行广泛实验，并探索基线任务规划器的多个改进，可以提高任务规划性能。
