OpenAI「打死都不说」的 GPT-4 训练细节被传出，这是我的解读

Matrix是一个少数派的写作社区，主张分享真实的产品体验和有实用价值的经验和思考。一篇关于GPT-4模型的泄露的文章追溯了信息来源，并分析了传闻的可信度。根据传闻，GPT-4的模型参数量为1.8万亿，比GPT-3.5大10倍左右，模型层深为120层，模型构架为混合专家模型，共有16个专家，每个专家有1110亿参数量。训练数据共有13万亿个token，训练成本约为6300万美元。作者认为这些传闻有一定的可信度，并提出了一些分析和讨论。他认为私有模型的竞争将集中在并行能力上，而GPT-5的重点将在于多模态。作者还猜测OpenAI可能有意放出这些传闻，以便让竞争对手先复制GPT-4，而他们则继续研究GPT-5的多模态模型。