LLM的上下文窗口是模型一次处理的最大文本量，受自注意力机制和GPU内存带宽限制。现代模型的上下文窗口已扩展至128K-2M标记，但较小的窗口在实时对话和特定任务中表现更佳。在生产环境中，语义缓存和检索增强生成等策略能有效提升性能。

最新的Android Studio Otter功能更新引入了多项新特性，帮助开发者更轻松地集成AI工具，包括选择LLM、增强的代理模式和自然语言测试支持。开发者可以选择不同的LLM，支持本地模型以满足数据隐私需求，并通过“旅程”定义用户测试，简化测试编写。

ollama 0.14-rc2 版本发布，新增实验性代理循环功能，支持 LLM 使用本地 bash 和网络搜索，用户需交互批准命令执行，并设有安全和危险命令的自动允许与拒绝列表。同时，改进了 API 兼容性和图像生成支持。

大多数AI工具需要将数据发送到第三方服务器，而本地运行LLM可以保护隐私。本文介绍如何安装Ollama和OpenWebUI，选择合适的模型，设置文档搜索，确保数据不上传云端，从而安全地与敏感文档交互。

Meta利用大语言模型（LLM）改进变异测试，提升合规覆盖率。该系统生成上下文相关的变异体和测试，解决传统变异测试的局限性，帮助团队更高效地满足全球监管要求。通过自动化合规强化系统（ACH），Meta显著减少操作开销，并在多个平台成功部署，生成大量可操作的测试。未来，Meta将继续扩展ACH，优化变异体生成，并研究开发者与LLM生成测试的互动。

文章探讨了大型语言模型（LLM）在幽默生成方面的不足。作者指出，LLM在处理明确答案的任务时表现良好，但在幽默和多义性上存在局限，无法随机生成笑话，常常重复经典笑话，导致幽默感缺失。此外，AI的幽默理解和生成能力受限于训练数据，难以适应不同文化的笑话风格。

文章探讨了Spotify歌曲备份、Postgres设置建议、AI对生活的影响及开源的复杂性。作者反思技术进步带来的焦虑，强调持续学习的重要性，并分享学习新知识的挑战与经验。

Cactus是一家Y Combinator支持的初创公司，提供本地AI推理解决方案，适用于移动和低功耗设备。其SDK在beta版中提升了低端硬件性能，支持多种模型和量化级别，允许开发者本地部署模型，并提供云回退功能以确保高可用性。该SDK对学生、教育者、非营利组织和小企业免费开放。

Spring AI的工具参数增强器使开发者在调用LLM工具时能够捕获推理过程，提升AI系统的可观察性和调试能力。通过动态扩展输入模式，开发者可以获取LLM的内在思维和信心水平，而不影响工具实现，从而增强AI的记忆和推理能力。

Meta推出生成广告模型(GEM)，旨在提升广告推荐效果。该模型通过处理大量用户与广告的互动，解决推荐系统的挑战。GEM利用先进架构、知识转移和优化训练基础设施，提高性能，并支持广告主目标与用户行为。Meta还采用多种并行策略和GPU优化，提升训练效率，帮助广告主实现更精准的广告投放。

我们提出了一种通用方法，称为BED-LLM，利用序列贝叶斯实验设计（BED）提升大型语言模型（LLMs）从用户或外部源智能收集信息的能力。通过迭代选择最大化期望信息增益（EIG）的问题，使LLMs成为有效的多轮对话代理。实验结果表明，BED-LLM在多项测试中显著优于直接提示和其他自适应设计策略。