构建知识：探索基于聊天的搜索引擎的创造性机制
内容提要
本文综述2023年多项研究，探讨大型语言模型在搜索与对话系统中的应用，包括利用交互历史实现个性化查询建议、通过知识挖掘增强领域问答、评估ChatGPT在企业通信中的表现、提出交互式查询重写框架、研究IDE插件辅助代码理解，以及在探索性任务和过程挖掘中的应用，均显示性能提升。
延伸解读
个性化搜索的上下文依赖
文章指出，利用用户与搜索引擎的交互历史作为上下文，可以生成更相关、个性化和有用的查询建议。这种方法在上下文查询建议任务上优于其他LLM基准，说明个性化搜索的关键在于理解用户当前的搜索背景以及他们历史上知道和关心的内容。这为改善搜索体验提供了新思路。
领域知识增强与自我改善
通过从特定领域文本中提取问答对，并与对话数据集结合微调LLM，可以显著提升模型在领域问答上的性能。这种方法仅需少量人工种子实例，为LLM通过模型合成训练数据实现自我改善提供了可能，降低了领域适配的成本。
企业通信中的LLM评估
文章比较了ChatGPT、GPT-3.5、GPT-4、Bard、LLaMA等模型在企业无线产品和服务通信界面中的表现，涵盖领域自适应、内容连贯性、输入扰动和错误鲁棒性等用例。这种评估为数据科学家构建面向领域特定需求的定制对话接口提供了实用见解。
交互式查询重写与代码理解
文章提出了一种使用LLM的交互式查询重写框架，旨在提高透明性和意图理解，初步实验显示排序性能显著提升。同时，一项IDE插件研究让开发者用自然语言查询代码，32名参与者的用户研究表明，这种方法比Web搜索更有效地帮助理解代码，但效果因经验水平而异。
Q&A
基于聊天的搜索引擎如何利用用户的交互历史来提供个性化查询建议？
通过分析与用户与搜索引擎的交互历史相关的上下文，提出一种新颖且通用的方法，用于个性化输出。该方法在上下文查询建议任务上优于其他LLM基准方法，能生成更相关、个性化和有用的查询建议。
如何通过知识挖掘增强大型语言模型在特定领域的问答能力？
引入一种增强LLMs的新方法：训练知识矿工LLMiner自动从相关文档中提取问答对，并将这些QA对与对话数据集结合来微调LLM，从而丰富其特定领域的专业知识和对话能力。与直接微调相比，性能显著提升，且只需最少的人工种子实例。
ChatGPT等大型语言模型在企业通信界面中的应用有哪些能力和局限性？
文章分析了ChatGPT、GPT-3.5、GPT-4、Bard、LLaMA等LLM在企业无线产品和服务通信界面中的应用，针对Craddlepoint公开数据进行了多个用例的比较分析，包括领域自适应、内容连贯性、输入扰动和错误的鲁棒性，为数据科学家建立定制对话接口提供了见解。
什么是交互式查询重写框架？它如何提升搜索的透明性和意图理解？
该框架使用大语言模型，旨在提高透明性和意图理解能力，改变传统的意图理解方法。通过自然语言表达、交互和推理机器意图，初步实验显示在排序性能上有显著提升。
IDE插件如何利用大型语言模型帮助开发者理解代码？效果如何？
研究开发了一个IDE插件，允许用户使用高级请求查询后端（如OpenAI的GPT-3.5和GPT-4）。对32名参与者的探索性用户研究表明，这种方法比Web搜索更有效地帮助理解代码，但效果因参与者的经验水平而异。
ExploreLLM在探索性任务中如何帮助用户？
通过用户研究发现，ExploreLLM对探索性任务和规划任务有帮助，为用户提供了任务的结构和引导，并展示了用户可以更容易地个性化响应，以及自然语言和图形用户界面之间更紧密的集成。
大型语言模型在过程挖掘中如何增强对话代理的能力？
研究探讨了LLM在过程挖掘中的应用，以增强对话代理的能力，改进了现有解决方案的许多问题，提高了可访问性和代理性能。通过实验验证了框架在公共问题和数据集上的效果，并提出了改进LLM记忆、实时用户测试和研究多样化数据集的建议。
