本研究针对LLM作为评判者在评估自然语言文本质量时存在的偏见问题，分析了其在判断对话问题回答正确性上的能力。研究创新性地创建并发布了一个包含1200个LLM响应正确性标签的数据集，并发现提供高质量人类参考答案显著提高了评判者的判断准确性，揭示了LLM评判者与人类标注者之间复杂的关联。

本研究提出了一种迭代自动形式化的方法，解决数学推理中合成数据生成的有效性问题。通过引入定理证明器作为评判者，显著提升了大型语言模型在多个基准测试中的表现，最高准确率提高6.00%。

本研究提出了一种新颖的两阶段训练方法，有效解决了大型语言模型在评判者训练中的数据消耗和准确性不足的问题。实验结果表明，该方法在数据需求仅为其他方法的2%至40%时，显著提升了模型的性能和通用能力。

本研究提出使用大型语言模型（LLMs）作为评判者，评估生成代码和文本的质量。结果表明，LLM的评估与人工评估高度一致，显示其在代码翻译和生成任务中的有效性和应用潜力。

本研究解决了大型语言模型在应对恶意用户交互方面的安全性和可靠性问题。我们提出了一种创新的方法，通过微调和对齐思维链的响应，使其作为输入审查的防御机制，以检测恶意输入并提供合理解释。实验结果表明，这些技术显著提高了对话式人工智能系统的安全性，并为更安全的AI驱动互动奠定了可行的框架。

本研究探讨大型语言模型（LLMs）在开放式调查反馈中的信任度与有效性。比较LLMs生成的主题总结与人类评估，结果显示LLMs提供了可扩展的替代方案，但人类在识别细微上下文特征方面表现更佳。研究为AI辅助文本分析提供了新见解，并提出了未来研究的建议。

本研究解决了大型语言模型在自动评估对话系统时的自我偏好偏差问题，提出了一种新的定量指标。研究发现，GPT-4倾向于选择低困惑度的输出，揭示了大型语言模型对熟悉文本的偏好，具有重要影响。

本文研究了在人类和大型语言模型作为评判者时的偏见问题。研究提出了一个新框架，识别五种偏见，并通过142个样本评估。结果显示，所有评判者都易受偏见影响，强调了开发更可靠评估系统的必要性。

本研究探讨了大型语言模型（LLM）在对齐任务中作为评判者的可靠性问题，尤其是评估现有评价指标的可解释性和LM内部不一致性的问题。通过开发新的评价框架，本文揭示了不同提示模板对LLM评判者性能的显著影响，并指出测试的LLM评判者与人类评估者之间存在中等对齐水平。本工作为选择用于对齐任务的LLM评判者提供了重要的见解。

本文提出了一种新框架，用于评估语言模型和人类评判者的偏见。结果显示人类和语言模型评判者都容易受到扰动，并存在偏见。作者呼吁社区意识到评估系统的脆弱性，并开发健壮的评估系统。

多模式大型语言模型在预测推理方面的能力尚未得到充分探索。研究者引入了一个新的基准测试，评估这些模型在不同情境下的预测推理能力。通过实验证实了基准测试的合理性，并揭示了当前流行的多模式大型语言模型在预测推理任务中的优缺点。这个基准测试为多模式大型语言模型提供了一个标准化的评估框架，并促进了更先进的模型的发展。

研究发现大型语言模型常出现“幻觉”，需要事实验证器。FLAN-T5-11B在维基百科领域表现最佳。大型语言模型对高质量证据依赖，鲁棒性和泛化能力不足。