量子位
·
全球闲置算力训个模型，性能媲美R1，老黄天塌了！Karpathy曾投资它
💡
原文中文，约5200字，阅读约需13分钟。
📝
内容提要
全球首个分布式强化学习模型INTELLECT-2发布，利用闲置算力进行训练，显著降低成本，性能接近DeepSeek-R1。该模型去中心化，任何人可参与训练，可能改变大公司对算力的垄断。团队已获得Karpathy等投资，未来将扩展去中心化训练。
🎯
关键要点
- 全球首个分布式强化学习模型INTELLECT-2发布，利用闲置算力进行训练，显著降低成本。
- INTELLECT-2的性能与DeepSeek-R1媲美，可能改变大公司对算力的垄断。
- 模型去中心化，任何人可参与训练，团队已获得Karpathy等投资。
- INTELLECT-2采用全球分布式异步强化学习的范式，允许闲置算力资源参与。
- 模型训练过程涉及四大关键组件：PRIME-RL、SHARDCAST、TOPLOC和Protocol Testnet。
- PRIME-RL实现推理数据生成与模型训练的解耦与异步执行，提升性能。
- SHARDCAST负责将更新后的模型权重高效分发给全球推理节点，采用分片传输和多级缓存技术。
- TOPLOC验证推理节点生成数据的可信性，确保模型训练的安全性。
- Protocol Testnet为计算资源管理和任务调度提供统一接口，支持去中心化管理。
- INTELLECT-2在数学和编程基准测试中表现提升，成功实现通信和计算的重叠。
- 团队曾获Karpathy投资，计划扩大计算市场，推进去中心化训练。
❓
延伸问答
INTELLECT-2模型的主要特点是什么？
INTELLECT-2是首个去中心化的分布式强化学习模型，利用闲置算力进行训练，显著降低成本，性能与DeepSeek-R1媲美。
INTELLECT-2如何改变算力的使用方式？
INTELLECT-2通过去中心化的训练方式，使任何人都可以参与模型训练，可能终结大公司对算力的垄断。
INTELLECT-2的训练过程涉及哪些关键组件？
训练过程涉及PRIME-RL、SHARDCAST、TOPLOC和Protocol Testnet四大关键组件。
SHARDCAST在INTELLECT-2中起什么作用？
SHARDCAST负责将更新后的模型权重高效分发给全球推理节点，采用分片传输和多级缓存技术。
TOPLOC协议如何确保数据的可信性？
TOPLOC通过密码学证明和可验证计算技术，验证推理节点提交的数据的可信性，避免恶意数据影响模型训练。
INTELLECT-2的团队背景如何？
INTELLECT-2的团队Prime Intellect位于旧金山，创始人Vincent Weisser和CTO Johannes Hagemann均有丰富的创业和技术背景。
🏷️
标签
➡️
