由 LLM 驱动的 AI 代理在复杂业务任务中展现潜力，但评估存在挑战。现有基准测试主要集中于简单场景，缺乏对敏感信息的管理能力。Salesforce AI Research 推出的 CRMArena-Pro 基准测试真实评估 LLM 代理在客户服务和销售等领域的表现，包含多轮对话和保密意识测试。研究表明，顶级模型在单轮任务中的准确率约为 58%，而多轮对话降至 35%。

与Alexey Grigorev和DataTalks.Club合作，提供为期10周的免费课程，教授构建能回答知识库问题的AI系统，内容包括LLMs、RAG和向量搜索，适合初学者和进阶者。

LLM代理正在改变AI工具的使用方式，能够主动分解复杂任务、做出决策并与其他代理协作。尽管技术仍在发展，现在是学习和实验的最佳时机。用户可以通过开源框架如LangGraph和CrewAI轻松构建自己的代理，实现自动化。

作者创建了一个大模型价格榜网站，以便查找模型价格，因之前的榜单停止更新。数据来源于litellm和deepresearch，欢迎反馈问题。

西北大学与谷歌合作提出贝叶斯自适应强化学习（BARL），首次阐释了大型语言模型（LLM）如何有效进行反思与探索新策略。研究表明，BARL在数学推理任务中表现优异，能够更高效地利用信息，避免无效反思，从而提升模型的决策能力。

研究发现，GitHub开源项目中普遍存在关键路径遍历漏洞，影响1,756个项目。尽管该漏洞存在超过15年，仍被广泛复制，主流LLM如ChatGPT也生成相同漏洞代码。研究呼吁消除漏洞代码模式，提高开发者的安全意识。

本文介绍了使用C#重写基于LLM的简历评估程序，学习了KeyValuePair的用法和YAML解析。通过示例展示了字典处理和动态类型转换，强调了安全性和类型检查的重要性。代码已上传至GitHub。

本文介绍了一种基于大型语言模型（LLM）的简历评估系统，使用C#读取PDF内容并灵活调整简历要求。该系统通过AI生成不同版本的简历，并根据输入要求评估候选人资格，相关代码已上传至GitHub。

Claude团队推出开源工具“电路追踪”，可视化大模型思维过程，生成归因图，帮助研究人员理解LLM内部机制。用户可通过Neuronpedia进行交互式探索，验证模型行为。该工具在GitHub上获得400+个Star，受到广泛关注。