本文探讨了标注者在标签分布上的分歧对模型学习的影响。研究发现，评估指标的不同导致所需标注者数量差异：熵相关性需要约20-50名标注者，而分布匹配在约10名标注者时即可饱和。软标签在识别模糊与清晰项目方面优于标签平滑，建议根据目标评估指标调整标注预算。

人工智能，尤其是大型语言模型（LLM）的快速发展，推动了多代理系统在现代组织中的应用，以提升适应性和效率。评估LLM及监控AI代理的能力至关重要，确保其在实际应用中的可靠性。评估指标如幻觉率和毒性评分，有助于识别模型的优缺点。有效的监控和评估能够提升AI代理的性能，确保其在复杂环境中的稳定运行。

本文讨论了评估人工智能代理的五个重要指标，超越传统的准确性。这些指标包括任务完成率、工具选择准确性、自主评分、恢复率和每个成功任务的成本，旨在衡量代理的推理能力、可靠性和效率，尤其在金融和医疗等高风险领域具有重要意义。

SMOTE是一种解决机器学习类别不平衡问题的数据增强技术，通过在少数类样本间插值生成合成样本，帮助平衡数据集。使用时需先划分训练和测试集，以防数据泄漏。常见误用包括过度平衡和忽视评估指标的上下文。

Better Agents是一个开源项目，旨在帮助开发者评估和比较AI代理框架。它提供多维评估指标、最佳实践和改进建议，助力工程团队在不同代理实现间做出权衡，加速构建可靠的自动化代理系统。

语音助手已从简单规则系统发展为基于大语言模型的高级对话代理，具备长时对话和复杂指令执行能力。传统评估指标无法全面反映其质量，需建立新指标体系，关注事实准确性、安全性和用户体验。HHH原则强调助手应提供实用、诚实和无害的帮助，评估方法需结合人工判断与自动化工具，以确保助手的可信度和实用性。

本文探讨了语言模型中的幻觉检测评估指标，指出现有指标与人类判断不一致，且在参数扩展时表现不稳定。通过对6种幻觉检测指标的实证评估，发现LLM（如GPT-4）在评估中表现最佳，模式寻求解码方法能有效减少幻觉。这强调了需要更强大的指标和策略来理解和减轻幻觉问题。

RAG（检索增强生成）技术在2025年广泛应用，主要包括离线文件解析、文本切片和嵌入优化。通过语义和结构切分提升文本处理效率，并在查询处理时生成多维嵌入。评估指标包括召回率、响应时间和用户满意度。Graph RAG解决全局和多跳问题，但构建图谱复杂，依赖于大型语言模型（LLM）能力。Agentic RAG允许多次检索，提升灵活性和可扩展性。

选择最佳机器学习模型时，应明确目标、建立基线、选择合适的评估指标，并使用交叉验证。需平衡模型复杂性与可解释性，并在真实数据上测试模型，以应对实际应用中的挑战。最终选择应与特定问题和数据相匹配。

AI系统开发面临的挑战是确保其发布后持续良好表现。Microsoft.Extensions.AI.Evaluation是一个开源库，帮助收集和比较AI系统的评估指标，如一致性、流畅性和完整性。通过C#代码与OpenAI交互，评估聊天完成度，以优化系统性能。

ROUGE和BLEU是文本生成评估指标。ROUGE侧重于召回率，比较生成文本与参考文本的词汇重叠，适合用于摘要；而BLEU则关注精确度，评估生成文本与参考文本的匹配程度。BERTScore通过语义相似性评估文本，强调词义而非字面匹配。

当前大型语言模型主要以英语为主，导致多语言输出不自然。本文提出新的自动化语料库评估指标，评估多语言环境下LLM输出的自然性，并在法语和中文中进行测试，发现英语影响的模式。为改善这一问题，提出了一种简单有效的对齐方法，提升目标语言的自然性，同时不影响通用基准的表现。

研究探讨了大型语言模型越狱的隐性成本，提出了“越狱税”概念，指出绕过安全限制后输出质量下降，影响包括事实准确性、相关性和连贯性，并提出了评估越狱效果的新指标。