ChatQA：构建 GPT-4 级别的对话问答模型
内容提要
该文汇总多项ChatGPT问答能力研究：ChatGPT在生成任务上表现较强，但问答能力不及专用模型；提供上下文可提升其表现，提问方式会影响准确性，同时存在无法依据上下文作答及答案幻觉等问题。相关研究还涉及Self-QA数据生成、GPT-3与GPT-4对比、编程解题、CHI文本抽取、ChatKBQA知识库问答、多模态问答及UltraChat指令微调等。
延伸解读
上下文与提问方式对问答准确性的影响
文章指出，ChatGPT在生成任务上表现较强，但作为问答系统时不及专用模型。提供上下文可以提高其性能，但提问方式会影响准确性。此外，模型存在无法依据上下文作答以及答案幻觉的问题。这意味着在实际使用中，用户需要精心设计问题并提供充分上下文，同时警惕模型可能给出无依据的答案。
Self-QA与UltraChat：数据生成与指令微调
为克服监督问答数据稀缺的挑战，Self-QA框架利用无监督知识生成领域指导数据。UltraChat则构建了150万高质量多轮对话数据集，不涉及人类查询，用于微调LLaMA模型并取得更好性能。这些工作表明，自动化数据生成和指令微调是提升对话模型能力的有效途径，尤其对开源模型意义重大。
ChatKBQA：生成与检索结合的知识库问答
ChatKBQA框架针对知识库问答中的检索效率低、检索错误影响语义解析等问题，先使用微调后的大语言模型生成逻辑形式，再通过无监督检索替换实体和关系。在WebQSP和CWQ数据集上取得最佳性能，为结合大语言模型与知识图谱提供了新范例，兼顾可解释性和知识需求。
多模态与低成本文本抽取的探索
MoqaGPT框架实现了多模态开放域问答的零样本学习，提升了多模态问答数据集上的性能。另一项研究利用ChatGPT和GPT-4组合对CHI会议记录进行抽取式问答，发现这是一种有效的低成本文本分析手段，并提供了交互式可视化。这些探索展示了对话模型在跨模态和特定领域任务中的潜力。
Q&A
ChatGPT作为问答系统，在提供上下文的情况下表现如何？
提供上下文可以提高ChatGPT的性能，但提问方式会影响其准确性，并且它可能无法根据上下文作答，还存在答案幻觉现象。
Self-QA框架是什么，它有什么作用？
Self-QA是一种创新框架，利用大量无监督知识代替传统人工撰写的指导文件种子，生成更多正确且领域特定的指导数据，以克服创建监督配对问答数据的挑战。
ChatGPT在解决编程问题方面表现如何？
ChatGPT在结构化问题方面表现出较好的成功率，但调试任务表现不佳。
ChatKBQA框架如何改进知识库问答？
ChatKBQA框架首先使用微调的大型语言模型生成逻辑形式，然后通过无监督的检索方法检索并替换实体和关系，从而更直接地改善生成和检索，在WebQSP和CWQ数据集上取得了最新最佳性能。
UltraChat数据集是什么，它有什么特点？
UltraChat是一个系统设计的、不涉及人类查询、包含150万高质量多轮对话的聊天数据集，使用该数据集微调LLaMA模型能得到更好的性能表现，成为领先的开源数据集。
ChatGPT在机器翻译任务上的表现与人类相比如何？
通过60个提问和三项机器翻译评分标准（BLEU、METEOR和ROUGE）分析，ChatGPT在回复和翻译方面的能力虽然显著，但仍有所欠缺，与人类典型反应相比仍有差距。
