Modular在MLSys 2026大会上讨论了推理技术的最新进展，强调AI代理在低级代码生成中的重要性。会议展示了多种优化技术，如高效的KV缓存管理和异构硬件应用，以提升推理性能。Modular的架构支持跨组件优化，以适应行业需求的变化。

本文讨论了Modular Cloud的路由系统数据层，强调高效处理实时推理请求的重要性。通过分片位图和斐波那契哈希，系统能够在微秒级别内快速查询缓存状态，确保低延迟推理请求。同时，设计考虑了并发事件流的实时更新和主机生命周期管理，以优化性能和响应速度。

Modular发布了Mojo 1.0.0b1，展示了如何利用AI代理快速构建应用程序和库。开发者可以在几周内创建多个Mojo库和一个生产级应用，显著提高开发效率。该项目强调API设计的重要性，并通过一致的项目结构和测试模式，促进Mojo生态系统的快速发展。

Modular推出了Mojo语言，旨在提升现代AI编程效率。Mojo具有简洁的语法和强大的类型系统，能够在编译时捕捉错误，减少调试时间。用户可以通过AI代理技能快速将CUDA代码转换为Mojo，支持多种GPU架构。Mojo 1.0 beta版已发布，用户可利用这些技能加速Python代码或替换CUDA。

Modular推出了Gemma 4，旨在提升AI系统的响应速度。Tim Davis介绍了Inkwell，一个实时互动故事书应用，利用Modular Cloud实现快速文本和图像生成。通过优化推理层，Inkwell能在420毫秒内生成首个文本，并在6秒内完成插图，确保用户体验流畅，支持流式生成，减少等待时间，提升用户互动性。

Modular Cloud正在解决大语言模型（LLM）推理中的路由问题。传统负载均衡方法不适用于LLM，因为需要考虑状态、硬件特性和会话连续性。新的路由层能够根据缓存状态和硬件优化请求处理，支持多步骤执行，从而提升响应速度和效率。

Modular发布了Mojo 1.0测试版，标志着新语言时代的开始。此次更新包括视频生成、多GPU支持和简化的Mojo语法，旨在提升开发者体验并促进广泛采用。

Modular发布了Gemma 4，展示了AI编码代理在复杂系统工程任务中的能力。五个前沿模型成功重建了Wan 2.1文本到视频推理管道，证明了MAX图形API的有效性，并展示了调试和工程纪律的重要性，能够在新框架中构建完整的多模态推理系统。

Modular公司在爱丁堡和旧金山新开设办公室，旨在与AI和数据科学社区紧密合作。爱丁堡的Bayes Centre促进AI技术的实际应用。Modular的编程语言Mojo结合了Python的易读性和高性能，支持多种硬件。MAX平台简化了AI模型的部署，兼容不同硬件。公司正在招聘开发者。

Modular推出的Structured Mojo Kernels旨在提升GPU编程的可维护性和性能。该架构通过组件化设计，实现了在不同硬件上高效运行的能力。与传统方法相比，Structured Mojo Kernels显著减少了代码量，同时保持与CUTLASS相同的性能，展现了可重用性和资源管理的优势。

谷歌DeepMind发布了Gemma 4系列模型，支持文本、图像和视频，具有256K上下文窗口，适用于复杂任务。Modular Cloud优化了Gemma 4的性能，提供高效的API接口，支持NVIDIA和AMD硬件，确保无缝扩展。

Modular公司在GTC活动中推出了新办公室和社区项目，扩展了MAX和Mojo的功能，社区成员的创作贡献也在不断增加。

Modular平台发布26.2版本，新增图像生成和编辑功能，支持FLUX.2模型，性能提升4倍。Mojo语言优化AI编程，简化GPU内核开发，支持CUDA转Mojo。此版本提升了图像生成速度，降低了总拥有成本，适用于云和企业用户。

Modular收购BentoML，旨在提供云端AI生产解决方案。文章介绍了结构化Mojo内核架构，强调其在GPU内核中的优势，如减少代码量和提高性能。通过分离数据移动、管道协调和计算，结构化内核实现了跨硬件的可扩展性，简化了开发过程。

Modular收购BentoML，旨在提供云端生产级AI平台，支持500多种开放模型，开发者可利用MAX和Mojo进行创新，推动AI基础设施的发展。

Modular收购BentoML，旨在提供云端AI生产解决方案。Mojo语言通过结构化内核简化GPU编程，提升开发效率，减少代码复杂性，同时保持高性能。结构化Mojo内核将逻辑分为三个核心组件，确保清晰的接口和职责分离，降低错误率并提高可维护性。

BentoML与Modular合并，旨在简化高性能推理服务，提升AI模型部署效率。两者共享开源基础，优化AI基础设施，服务超过10,000家组织。BentoML将继续作为开源项目，确保用户稳定性并推动平台整合。

本文介绍了OpenTCS各模块的职责和工作流程，包括派车、车辆移动和任务完成，详细解析了模型层和核心模块的交互，帮助读者理解系统运作及自定义功能的实现。

Modular 26.1版本简化了高性能AI计算的构建与部署，推出了新的MAX Python API，支持跨异构硬件的GenAI模型。Mojo API得到改进，增强了错误报告和编译时语言特性，并支持Apple硅GPU。MAX已成为构建和服务GenAI模型的平台，提升了开发者体验。

2025年，Modular专注于未来AI基础设施，取得AMD和NVIDIA性能突破，推出开源MAX和Mojo库及Mammoth平台，并提供GPU编程学习资源，成功筹集2.5亿美元以加速发展。