Meta通过自适应排名模型提升广告推荐系统效率，解决了模型复杂性与系统效率的矛盾，实现低延迟和高效能，显著提高广告转化率和点击率。该模型通过请求导向优化与深度模型系统协同设计，确保每个请求由最有效的模型处理，以满足全球用户需求。

本文介绍了如何使用PyTorch实现选择器函数，生成条件张量，并计算不同注意力头的得分矩阵，最终得到上下文向量。

在运行大型语言模型（LLM）时，需关注安全风险，包括提示注入、敏感信息泄露、供应链风险和过度自主性。建议在应用层实施输入验证和输出过滤，并通过政策层管理这些风险，以确保模型行为符合安全标准。

本文介绍了如何解析调课通知，提取调整前后日期的信息，包括课程取消和补课安排，最终输出为包含多条调课信息的列表。

生成完整用户界面的代码对大型语言模型（LLM）具有挑战性。本文介绍了原型应用生成环境Athena，通过共享中间表示（如应用故事板、数据模型和GUI框架），帮助开发者与LLM协作生成结构化代码。用户研究显示，75%的参与者更倾向于使用Athena原型。

谷歌云的早期测试表明，新方法在推理速度和成本上优于旧方法，代码补全等用例的首次响应时间提高了2倍，原因在于传统的自动扩展和请求路由不适合状态推理工作负载。

llm-d旨在通过模型和状态感知路由策略，在任何加速器上实现先进的推理性能，最大化资源利用并提升推理指标。该项目提供标准化基准，确保高性能AI服务的可用性，并在多租户SaaS场景中显著节省计算资源。

本文讨论了使用Ollama和OpenWeb UI运行本地LLM的经验，强调数据隐私和离线操作的重要性。作者分享了硬件需求、模型管理和自定义功能，指出RAG功能的局限性，并探讨了集成网络搜索的必要性。总体而言，Ollama与OpenWeb UI的结合满足了作者的编程需求。

Prose2Policy（P2P）是一种基于LLM的工具，能够将自然语言访问控制政策转换为可执行的Rego代码。它提供模块化的端到端流程，支持政策检测、组件提取和模式验证等功能。评估结果显示，P2P在ACRE数据集上的政策编译率为95.3%，自动测试通过率为82.2%，表明其在零信任和合规环境中的良好表现。

本文介绍了 LLM Agent 的多种范式，包括单步回答、链式思维、ReAct、反思型、任务规划、记忆增强和多 Agent 协作。详细说明了每种范式的特点、适用场景及其优势与局限，强调了模型能力与实现成本之间的关系。

本文介绍了如何使用FastAPI和OpenTelemetry构建可观察的RAG（检索增强生成）API，模拟文档检索、LLM调用和后处理过程，通过创建不同的追踪跨度监控各阶段的性能和成本。

DoorDash开发了一种模拟评估系统，能够快速进行数百次客服聊天机器人测试，显著提高实验效率。该系统将幻觉率降低了约90%，通过生成真实客户互动的多轮对话，结合自动评估框架，确保聊天机器人在实际场景中的表现。工程师通过持续迭代优化提示和上下文处理，以达到上线前的评估标准。

Qt 开发人员发布了 Qt Creator 19，新增小地图功能，改进远程设备管理，支持基本模型上下文协议（MCP）服务器，并增强对多种项目的支持。