用于语义缓存测试输入生成的 LLM
内容提要
该文综述多项大语言模型研究：提出语义一致性度量与问询策略，提升开放式生成和闭卷问答；验证模型对逻辑形式的理解接近人类，但生成能力仍不足；条件问答中微调模型部分超越现有技术，但抽取式问答落后且易受错误信息影响；利用搜索历史实现个性化查询建议；构建事实问答语义一致性评估框架；探索文本压缩与重构；开发学术知识图谱问答系统，F1达99%；提出生成检索框架以验证来源可信度；并通过大规模查询揭示模型在稳健性、一致性和可信度方面的问题。
延伸解读
逻辑形式理解与生成的不对称性
文章指出，当前最先进的大语言模型在理解逻辑形式方面整体接近人类水平，但在生成正确逻辑形式方面仍有改进空间。这意味着模型更擅长“读懂”结构化表达，而非“写出”符合形式语言规则的输出。此外，模型对形式语言的具体形式表现出显著敏感性，越接近自然语言的形式语言对模型越友好。这一发现提示，在实际应用中若需模型生成逻辑形式，应优先选择形式化程度较低的表达方式，或针对目标形式语言进行额外优化。
条件问答中的性能分化与评估挑战
在条件问答任务中，微调后的大语言模型在是/否问题上表现突出，精确匹配和F1分数可提升7-8个点，甚至部分超越现有技术；但在抽取式问答上却落后10个点以上，且难以降低注入错误信息的风险。与神谕检索器的对比进一步表明，有效证据检索对性能至关重要。文章还强调评估指标对结论影响很大，呼吁采用更全面的评估框架。读者需注意，模型在不同问题类型上的能力并不均衡，实际部署时应按任务类型分别评估。
语义一致性与可信度评估的进展
文章介绍了多项围绕语义一致性和可信度的研究：通过构建高质量事实问答近义词语料库，结合已有度量标准，形成了与参考无关的性能预测框架，在五个现代大语言模型上显著超越基线；生成检索框架则包含生成器、验证器和优化器，旨在验证生成结果的可靠性和来源可信度，被称为大语言模型时代的“PageRank”。这些工作表明，评估重点正从单纯准确率转向一致性、可靠性和来源可验证性，但相关框架的通用性仍需更多验证。
文本压缩与学术问答的可行性边界
在文本压缩方面，研究提出精确重构（ERE）和语义重构有效性（SRE）两个二元指标，结果显示GPT-4可能有效压缩并重构文本，同时保留原始语义要素。在学术知识图谱问答中，系统利用BERT编码器检索相似训练问题及其SPARQL查询作为少样本提示，在SciQA数据集上取得99.0%的F1分数。这两项结果展示了特定任务上的潜力，但前者依赖GPT-4且评价指标较粗，后者局限于特定知识图谱和基准，读者不宜将其视为通用能力的证明。
Q&A
如何提升大语言模型在开放式文本生成和闭卷问答上的表现？
文章提出通过引入语义一致性的综合度量以及设计新的问询策略，来提升大型语言模型在开放式文本生成和闭卷问题回答方面的性能。
大语言模型理解逻辑形式的能力和生成逻辑形式的能力哪个更强？
实验表明，最先进的大语言模型在理解逻辑形式方面整体上接近人类水平，但在生成正确逻辑形式方面仍有改进空间。此外，模型对形式语言敏感，越接近自然语言的形式语言对模型越友好。
在条件问答任务中，微调后的大语言模型表现如何？存在哪些不足？
微调后的LLM在条件问答的某些方面可超越现有技术，例如是/否问题的精确匹配和F1分数有7-8个点的提升，即使未完全编码所有输入上下文。但在抽取式问答上落后现有技术10个点以上，且难以降低注入错误信息的风险。研究还强调有效证据检索的关键作用，并倡导更全面的评估框架。
如何利用用户搜索历史来生成个性化的查询建议？
文章提出一种新颖且通用的方法，通过结合用户与搜索引擎的交互历史相关的上下文来实现个性化输出，从而理解用户当前的搜索背景及其历史上知道和关心的内容。实验验证该方法在上下文查询建议任务上优于多个LLM基准方法，能生成更相关、个性化和有用的查询建议。
如何评估大语言模型在事实问答中的语义一致性？
文章通过手动创建高质量的事实问答近义词语料库，并结合其他相关度量标准，构建了一个用于事实问答参考无关性能预测的框架，以评估现代LLM的语义一致性。对五个现代LLM的评估显示了令人鼓舞的结果，显著超越基线水平。
大语言模型在文本压缩和重构方面的效果如何评价？
研究探讨了LLM在近似压缩和语义压缩方面的应用，并提出二元评价指标：是否精确重构（ERE）和语义重构有效性（SRE）。结果表明GPT-4可能有效地压缩和重构文本，并保留原始文本的语义要素。
学术知识图谱问答系统是如何利用大语言模型实现高准确率的？
该系统使用基于BERT的句子编码器识别与测试问题相关的前n个相似训练问题，并检索对应的SPARQL查询。利用这些相似问题-SPARQL对作为示例创建提示，传递给LLM生成SPARQL查询，最后在Open Research KG端点上运行查询并返回答案。在Scholarly-QALD-23挑战基准的SciQA数据集上获得了99.0%的F1分数。
如何验证大语言模型生成检索结果的可靠性和来源可信度？
文章构建了一个新的生成检索框架，包含生成器、验证器和优化器三个核心模块，分别负责生成可信任的在线来源、验证来源可靠性以及优化不可靠的来源。该框架旨在提高相关性和直接回答搜索问题的能力，并验证生成结果的可靠性和贡献来源的可信度，实现了LLM时代的“PageRank”。实验证明该方法在相关性、负责性和可信性上优于多种最先进方法。
大规模查询揭示了大语言模型在哪些方面存在问题？
研究使用自动化工作流程对ChatGPT、LLaMA和OPT等主流LLM进行了数百万次查询，揭示了LLM在稳健性、一致性和可信度方面存在的问题，并提出了一种新的关联数据集索引来评估使用LLM进行学术评估的可行性。
