小红花·文摘
  • 首页
  • AI Tokens🪙
  • 排行榜🏆
  • 直播
  • FAQ
Dify.AI

本文探讨大模型训练中算力分配的核心问题:模型参数与训练数据应如何配比。Kaplan 研究建议偏重模型规模,而 Chinchilla 研究通过三种方法证明两者应等比例增长,并指出前者因学习率调度设计缺陷导致结论偏差。文章还讨论了推理成本、数据受限等现实约束对最优配比的影响,以及相关复现争议。

【Transformer 与注意力机制】34|Scaling Laws:Kaplan 与 Chinchilla 之争,以及算力预算怎么分配

土法炼钢兴趣小组的博客 土法炼钢兴趣小组的博客 · 2026-08-08T00:00:00Z
从Kaplan到Test-Time Compute:Scaling Law的真实演变与中文媒体的叙事偏差 - 张善友

Diogo指出Kaplan等人的Scaling Law存在技术缺陷,导致“参数越大越好”的错误结论。DeepMind的Chinchilla论文于2022年纠正了这一问题,提出了20:1的Token/参数最优比,促使行业转向更合理的训练策略。Meta的LLaMA系列和OpenAI的GPT-4等模型遵循这一原则,推动了AI训练方法的演变。虽然Diogo的文章有价值,但并非新发现,而是对已被纠正的技术偏差的回顾。

从Kaplan到Test-Time Compute:Scaling Law的真实演变与中文媒体的叙事偏差 - 张善友

张善友 张善友 · 2026-07-06T13:24:00Z

How contribution decisions shape the sustainability of the PostgreSQL ecosystem Last week at PGConf.DE, I gave a talk titled Not Just Altruism: Selling PostgreSQL Contributions to Your...

Valeria Kaplan: Why sell the idea of contributing to PostgreSQL to your employer

Planet PostgreSQL Planet PostgreSQL · 2026-04-30T11:31:26Z

A Journey Through PostgreSQL Events • Introduction • Community recognition (transparency, inclusivity, organisational balance) • If I organise a PostgreSQL event — does it have to be...

Valeria Kaplan: From PGDays to PGCon/fs

Planet PostgreSQL Planet PostgreSQL · 2025-12-15T22:51:22Z

Contributing to open source PostgreSQL — Blurring the Line Between Mine and Ours Reflections on Meaning, Growth, and Community in Open Source As the biggest PostgreSQL community...

Valeria Kaplan: PostgreSQL — Blurring the Line Between Mine and Ours

Planet PostgreSQL Planet PostgreSQL · 2025-10-22T22:33:25Z

本研究解决了在严格隐私法规下共享敏感医疗数据的挑战,提出了一种基于多方同态加密的隐私保护联邦Kaplan-Meier生存分析框架。新方法确保加密的联邦生存估计与集中结果高度一致,并通过实验验证了其在多个数据集上表现出色,具有较小的均绝对误差和均方根误差,展现出在保护数据隐私和实现高保真生存估计方面的显著潜力。

多方同态加密方法在保密的联邦Kaplan-Meier生存分析中的应用

BriefGPT - AI 论文速递 BriefGPT - AI 论文速递 · 2024-12-29T00:00:00Z
  • <<
  • <
  • 1 (current)
  • >
  • >>
👤 个人中心
在公众号发送验证码完成验证
登录验证
在本设备完成一次验证即可继续使用

完成下面两步后,将自动完成登录并继续当前操作。

1 关注公众号
小红花技术领袖公众号二维码
小红花技术领袖
如果当前 App 无法识别二维码,请在微信搜索并关注该公众号
2 发送验证码
在公众号对话中发送下面 4 位验证码
小红花技术领袖俱乐部
小红花·文摘:汇聚分发优质内容
小红花技术领袖俱乐部
Copyright © 2021-
粤ICP备2022094092号-1
公众号 小红花技术领袖俱乐部公众号二维码
视频号 小红花技术领袖俱乐部视频号二维码