LLM 任务干扰：关于任务切换对对话历史的影响的初步研究
内容提要
综述指出，大型语言模型在多轮任务、外部数据库交互和语境理解上存在不足，易受上下文干扰而遗忘知识，用户难以识别其错误。结合强化学习、业务逻辑与提示优化，可提升任务型对话成功率、软件指导与故障解决效率，并实现轻量级手机交互。
延伸解读
任务切换对LLM性能的影响
文章指出，大型语言模型在多轮任务和外部数据库交互中，容易受到上下文干扰，导致遗忘先前学到的知识，性能下降。研究基于bAbI数据集构建评估基准，揭示了模型在持续流动信息间的干扰问题。这提示开发者在设计多任务对话系统时，需关注任务切换带来的知识遗忘风险，并考虑引入显式信仰状态跟踪或领域示例来缓解。
用户对LLM错误的认知盲区
针对软件指导的研究发现，用户难以理解提示文本与LLM回应之间的关联，往往逐字遵循建议，即使错误也不自知。这导致任务完成率降低，且用户对错误毫不知情。这表明，仅提升LLM性能不足够，还需设计可解释、上下文感知的提示，帮助用户识别偏见和错误，从而最大化助手效用。
任务型对话系统的优化方向
文章提到，结合强化学习、业务逻辑与提示优化，可提升任务型对话成功率。例如，基于交替任务导向的社交对话框架，通过强化学习训练策略，实现任务与非任务内容的平滑过渡，提高了任务成功率和用户参与度。此外，针对移动UI设计的预训练模型，无需专用数据集即可取得竞争性成绩，降低了开发成本。
Q&A
大型语言模型在多轮任务和外部数据库交互中表现如何？
研究发现，在显式信仰状态跟踪方面，大型语言模型表现不如专门的任务特定模型，但如果给出正确的插槽值，它们能将对话引导到成功结局，并且在有真实信仰状态分布或域内示例的情况下，这种能力会得到改进。
大型语言模型为什么会在不同上下文之间出现干扰？
大型语言模型在持续流动的信息之间可能出现干扰，从而忘记先前学到的知识，导致模型性能下降。研究提出了一个基于bAbI数据集的评估基准来展示这种现象。
如何构建面向任务的对话系统来减少开发工作量？
可以将大型语言模型的上下文学习能力与业务逻辑的确定执行相结合来构建面向任务的对话系统。实验表明，与基于意图的NLU方法相比，这种方法开发聊天机器人所需的工作量明显较少，且能成功进行复杂对话，具有可扩展性。
用户在使用LLM生成的软件指导时面临哪些困难？
用户难以理解提示文本与LLM回应之间的关联，并且通常逐字逐句地遵循LLM的建议，即使是错误的。这导致在使用LLM的软件任务建议时出现困难，降低了任务完成率。用户对LLM回应中的错误毫不知情，表明他们在软件专业知识的缺乏和评估LLM助手的能力之间存在差距。
如何让任务型对话系统在任务和非任务内容之间平滑过渡？
可以提出一种基于交替任务导向的社交对话框架，使用强化学习算法训练策略，以维持长时间的会话连贯性和一致性。实验表明，将社交对话内容与任务对话相结合的系统比纯任务导向的系统具有更好的任务成功率和更高的用户参与度。
增强型对话式AI助手如何提高故障解决效率？
通过与行业专业人员进行的被试用户研究发现，装备了LLM以利用插入扩展交互模式、促进轮流讲话并利用调试工作流的增强型对话式AI助手Robin，降低了对话障碍，实现了有效的故障定位，并提高了5倍的错误解决率。
