本文讨论了随机A/B测试中的回归分析，强调随机化的重要性。通过随机分配用户，回归模型能够提供无偏的因果估计。文章介绍了使用OLS回归分析任务完成率变化的方法，包括添加协变量、聚类稳健标准误差和交互效应模型。同时指出在实验不干净时需采用其他方法处理潜在的混杂因素。

本文介绍了scikit-ollama如何将scikit-learn接口与本地Ollama模型结合，实现零-shot文本分类，无需云API。用户可以使用本地Llama 3模型加载电影评论情感数据集，并创建情感预测分类器，从而简化传统机器学习流程，避免数据隐私问题和订阅费用。

本文探讨了领域特定语言（DSL）与大型语言模型（LLM）的结合。LLM在DSL的约束环境中表现出色，能够根据自然语言生成代码。DSL提供明确的语法和语义模型，帮助开发者设计和实现复杂系统。文章介绍了Tickloom框架，展示了如何利用DSL简化分布式系统的开发与测试。LLM在设计阶段作为头脑风暴伙伴，在DSL建立后则作为自然语言接口，提升开发效率。

本文比较了三种主流开源LLM评估框架：RAGAS、DeepEval和Promptfoo，探讨了它们的用途和应用场景。文章指出了LLM作为评判者的偏见问题，包括位置偏见、自我偏好偏见和冗长偏见，并提供了检测和缓解这些偏见的方法。最后，建议团队结合使用多个工具，以确保评估的准确性和可靠性。

本文介绍了一种将非结构化用户评论转化为四级VOC标签体系的方法。该方法通过三阶段流程，结合LLM和语义聚类技术，提炼出清晰、可复用的标签结构，以分析用户反馈。每个阶段均可调参数，确保标签的准确性和一致性，最终生成的标签树可用于量化用户意见，提升产品改进效率。

为了解决LLM调用的无状态问题，需要将消息历史作为上下文发送给LLM。随着对话的进行，消息历史不断增长，可能超出LLM的上下文窗口限制，导致响应质量下降。因此，压缩对话历史是必要的。MAF提供了多种压缩策略，CompactionProvider支持摘要、折叠、删除和替换等策略，有效压缩消息历史，保留核心信息。

文章讨论了在产品实验中使用提升建模优化AI功能的推出策略。提升建模通过估计每个用户的条件平均处理效应（CATE），识别最能从新功能中受益的用户，实现分层推出，最大化用户价值并减少干扰。文中还介绍了使用Python和scikit-learn实现提升建模的具体步骤。

本文比较了三种大型语言模型（LLM）框架：LangChain、LlamaIndex和原始API调用。LangChain适合复杂应用的多步骤操作，LlamaIndex专注于高效的数据检索，而原始API调用则提供最低延迟和最高透明度。选择合适的框架应根据项目需求，简单任务使用原始API，文档检索使用LlamaIndex，状态管理和多步骤推理适合LangChain。建议根据实际需求逐步引入框架。

百曜科技发布了全球首个基于LLM-JEPA架构的AI虚拟细胞模型AURA CellOS，覆盖40余种人体组织和260余种细胞类型。该模型在细胞状态预测和扰动响应方面表现优异，显著提升细胞研究效率，可能改变新药研发方式。尽管面临数据稀缺和模型可解释性挑战，AURA CellOS的商业化潜力巨大，未来将成为新药研发的重要基础设施。

文章讨论了在共享LLM基础设施上进行A/B测试的挑战，特别是用户级随机化的局限性。为了解决这一问题，采用了切换实验设计，通过随机化时间段而非用户，确保所有用户在同一时间段内接受相同的处理。文章详细介绍了构建切换时间序列、调整滞后效应、使用HAC标准误差和引导置信区间的方法，以准确评估AI路由对任务完成率的影响。最后强调在进行基础设施投资前，需评估直接效应和滞后效应的经济性。

Yobi的CTO Frank Portman讨论了传统语言模型（LLM）在预测人类行为方面的局限性。他们采用变换器和图神经网络构建行为基础模型，以实现高效的个性化决策，并保护消费者数据隐私。Yobi专注于广告技术和市场营销，致力于个性化推荐和风险管理。

Andrej Karpathy发布了名为autoresearch的开源Python工具，允许AI代理在GPU上自动进行实验。该工具通过编辑代码、训练模型和评估结果，发现了20个有效的改进，显著提升了模型性能。autoresearch的设计使AI能够在固定时间预算内进行科学实验，优化训练效率，展示了AI在细节调整方面的潜力。

llm-wiki是Andrej Karpathy提出的概念，旨在将个人笔记和博客整合为结构化知识库。通过LLM自动提取和管理信息，用户只需提供知识库结构。文章分享了将Notion和知乎内容导入Obsidian的过程，并探讨了知识库与个人认知模型的区别，强调了两者在结构化知识和个人特征建模上的重要性。

在LLM推理集群中，KV缓存的存储预算影响命中率和预填充吞吐量。合理配置KV缓存容量可避免资源浪费和过早驱逐可重用条目。KVCache命中率模拟器帮助用户优化缓存配置。分析显示，随着缓存容量增加，命中率和预填充速度的提升逐渐减小，建议采用分层缓存策略以提高性价比。

本文探讨了大型语言模型（LLM）在工程中的应用，强调了从Prompt Engineering到Loop Engineering的四个阶段。每个阶段通过增加token提升模型的可用性，解决了模型在执行任务时的局限性。尽管工程不断优化，模型能力未显著提升，真正的挑战在于如何定义和维持任务完成标准，最终仍需人类参与判断。

OpenAI与Broadcom推出了名为Jalapeño的定制AI芯片，专为大语言模型推理设计，旨在提升AI系统的性能和效率。

Anthropic推出了全新的企业协作工具Claude Tag，旨在提升团队协作能力。该工具能主动参与工作流程，处理任务并与团队共享上下文，用户可在Slack中直接@Claude进行任务分配和进度跟踪。Claude Tag具备持续记忆和主动介入的能力，理解组织知识，成为企业内部的统一入口。目前已开放Beta测试，未来将扩展至更多平台。