2025全球人工智能技术大会在杭州召开，京东零售与清华大学合作推出xLLM端云一体大模型推理架构，以提升AI推理性能，解决电商技术挑战。京东未来将加大对国产AI基础设施的投入，探索多智能体自进化和分布式推理等方向。
本研究提出了一种多层融合与推理架构（MFRA），旨在解决视觉与语言导航中的复杂多模态交互问题。MFRA通过层次化机制显著提高了代理在导航场景中的决策准确性，优于现有方法。
Kimi与清华大学等机构联合开源了大模型推理架构Mooncake，旨在提升推理性能和用户体验。该架构采用分离式设计，优化资源利用，已在GitHub获得1.2k星。Mooncake通过预测负载和早期拒绝策略处理高并发请求，显著提高吞吐量，支持Kimi线上80%以上的流量。
2024年6月，Kimi与清华大学联合发布了以KVCache为核心的大模型推理架构Mooncake，旨在提升推理性能、降低成本并促进高性能推理框架的生态建设。该项目已开源，阿里云参与了关键组件的开发，未来将与更多机构合作推动模型推理系统的创新。
GPT-4是一个泄露的模型，据信拥有1.8万亿个参数和120个层。它采用了16个专家的混合模型，每次前向推理只使用2800亿个参数和560 TFLOPs。GPT-4训练时使用了约13万亿个标记，批量大小为6000万，通过将其除以序列长度来计算实际批量大小。OpenAI使用了张量并行和流水线并行等并行策略。GPT-4的训练成本估计约为6300万美元。GPT-4有一个独立的视觉编码器，并使用额外的标记进行微调。GPT-4的推理中可能使用了推测解码。推理架构在128个GPU的集群上运行。OpenAI在获取高质量数据方面面临挑战。
完成下面两步后，将自动完成登录并继续当前操作。
