在旧金山举行的全球最大数据、应用和人工智能活动中，研究人员探讨了提示缓存技术在大型语言模型（LLM）推理中的应用。提示缓存可以消除重复请求的冗余，提高模型在特定领域的质量，并降低计算成本。Databricks为开源模型提供此功能，确保安全性并自动优化性能，提升推理效率。

在协作环境中，用户之间的相互影响会使传统的用户级A/B测试失效。文章探讨了通过集群随机化来解决这一问题，确保整个团队共同接受或拒绝AI功能，从而减少干扰。通过分析50,000用户的合成数据集，展示了如何估计直接效果和溢出效果，并强调了在协作产品实验中采用集群随机化的重要性。

在网易游戏，我们发现大语言模型（LLM）推理的关键在于数据传输速度。通过使用Fluid，我们将模型加载时间从42分钟缩短至3分钟，显著提高了推理效率。同时，Fluid支持跨命名空间共享模型，减少内存浪费，简化操作，使得在Kubernetes上进行LLM推理变得可行且高效。

本文讨论了Modular Cloud的路由系统数据层，强调高效处理实时推理请求的重要性。通过分片位图和斐波那契哈希，系统能够在微秒级别内快速查询缓存状态，确保低延迟推理请求。同时，设计考虑了并发事件流的实时更新和主机生命周期管理，以优化性能和响应速度。

本文探讨大脑作为“自回归生成器”的理论，认为大脑通过不断预测下一秒的体验状态，整合记忆、注意力和知觉等功能为统一的预测过程。知觉是主动生成的，记忆是重新生成的，意识则是这一过程的主观体验。这一理论挑战了传统认知心理学，提供了新的理解框架。

LLM评估是一种新工具，能够快速、低成本地评估内容的相关性和质量。Spotify的实验表明，评估与实验应结合使用，评估帮助筛选候选项，实验验证用户反应。通过不断调整评估，提升其与在线结果的匹配度，确保系统的有效性和用户体验。

Lecun与Hinton对大型语言模型（LLM）的看法存在显著分歧。Hinton认为LLM接近人类智能，而Lecun则认为LLM并非通往人类智能的路径，强调世界模型的重要性，认为智能系统需要预测行为后果的能力。Lecun最近离开Meta，创办了AMI，专注于现实世界的AI应用，认为突破性研究需要优秀人才和资源支持。

在产品实验中，全球发布模型升级可能导致测量陷阱，缺乏对照组。合成控制方法通过构建未处理单位的加权组合，帮助数据科学家在没有对照组的情况下进行因果推断。本文介绍了如何使用Python实现合成控制，验证其有效性，并讨论常见的失败模式及应对策略。

上下文修剪是从大型语言模型（LLM）输入中去除低价值内容，以降低成本并提高输出质量。它属于提示压缩，旨在减少输入长度和提高处理效率。修剪方法包括标记级、句子级和基于注意力的修剪。研究表明，适度修剪可以改善LLM性能，尤其与语义缓存结合使用时效果更佳。

本文探讨了如何使用回归不连续性设计（RDD）评估基于置信度的路由模型的因果效应。通过分析在0.85阈值附近的查询，作者展示了利用Python进行数据分析，验证高置信度查询是否能提高任务完成率。文章强调了选择带宽和模型规格的重要性，并提供了多种检验方法以确保结果的稳健性，最终证明RDD是分析AI特征的有效工具，尤其在存在明确阈值的情况下。

文章讨论了在基于大型语言模型（LLM）的产品中，用户选择新功能（如AI助手）时的偏差问题。重度用户更倾向于尝试新功能，导致比较结果失真。为解决这一问题，文章介绍了倾向评分方法，通过统计工具消除选择偏差，准确评估功能效果，并提供具体步骤和代码示例，帮助数据科学家在产品实验中应用这些方法。