ATOM与Mooncake在AMD Instinct GPU上构建共享KV池,以解决智能体会话历史庞大、高度复用但预填充与解码分离导致主机内存割裂的问题。Mooncake Store将两侧内存合并为1.5 TiB KV池,结合分阶段恢复与批量RDMA传输,单台8卡MI355X服务器可支持约百个并发会话,每GPU约44K tokens/s,提示词复用率超95%;四台MI350X服务器共享池的吞吐约为独立池的两倍。
软通动力于6月11日宣布“北京壹号词元工厂”正式投入运行,标志着大模型算力进入标准化时代。该工厂专注于智能体服务,优化硬件性能和算法,提供高性价比的“数字燃料”——Token,并发布了开源的词元工厂性能基准,构建了完整的评测体系。软通动力还参与多个国家重点项目,推动全球AI合作。
完成下面两步后,将自动完成登录并继续当前操作。