开源项目ollama发布v0.17.0版本，增强了OpenClaw的引导流程，改善了集成，用户可通过简单命令启动OpenClaw，ollama负责安装和设置。此外，公开了服务器的默认上下文长度，并进行了其他改进。

在有限显存下，运行大型语言模型需平衡模型规模、量化精度和上下文长度。显存需求受模型参数、上下文缓存和系统开销影响，增加上下文长度会迅速消耗显存。选择合适的量化格式可提升性能。

Anthropic将Claude Sonnet 4升级至支持100万标记的上下文长度，提升五倍。此功能已公开测试，适用于Anthropic API和Amazon Bedrock，方便用户处理更大数据集。尽管此升级有助于上下文感知代理，但也增加了计算负担，开发者对此的实际价值看法不一。

Amazon Nova Premier 是 AWS re:Invent 推出的强大模型，适用于复杂任务，支持文本、图像和视频处理，具备 100 万个 token 的上下文长度，能高效处理长文档。它可作为教师模型，帮助蒸馏出更小的高效模型，如 Nova Pro 和 Micro，从而提升性能和降低成本。

大型语言模型（LLM）在处理长序列时存在上下文窗口限制。研究提出了一种高效训练方案，将上下文长度扩展至1M、2M和4M个token，同时保持标准任务性能。UltraLong-8B模型在长上下文基准测试中表现优异，展现出强大的检索能力。未来研究将关注安全对齐机制和高级调优策略。

在人工智能迅速发展的背景下，大型语言模型（LLMs）成为重要工具。组织在处理长文本时面临效率和成本挑战。本文探讨了优化LLM效率的策略，强调上下文长度对性能的影响，并提出应对隐性错误信息的解决方案。通过实施分组查询注意力（GQA）等技术，企业能够降低成本并提升生产力，实现更高效的AI应用。

检索增强生成（RAG）技术提升了语言模型的响应能力，但存在延迟和错误问题。缓存增强生成（CAG）作为新方法，通过预加载信息提高响应速度，减少错误，适用于小型知识库。然而，CAG在知识量和上下文长度上存在限制。

DeepSeek R-1是中国的一种大型语言模型，训练成本为600万美元，性能与OpenAI的o1相当。它采用专家混合架构，具备高效计算能力和128K上下文长度。尽管表现优异，但存在安全性、可靠性和生成虚假答案等问题。

Mistral NeMo是一款先进的12B模型，支持128k上下文长度，可直接在Microsoft Word中使用。

我们推出了Voyage 2系列的重排序器rerank-2和rerank-2-lite，分别提高了OpenAI最新嵌入模型的准确性13.89%和11.86%。这两款重排序器支持更长的上下文长度，提升了检索系统的质量。用户可升级至新版本以获得更好的性能。