小红花·文摘
  • 首页
  • AI Tokens🪙
  • 排行榜🏆
  • 直播
  • FAQ
沉浸式翻译 immersive translate
Dify.AI

本文探讨大模型训练中算力分配的核心问题:模型参数与训练数据应如何配比。Kaplan 研究建议偏重模型规模,而 Chinchilla 研究通过三种方法证明两者应等比例增长,并指出前者因学习率调度设计缺陷导致结论偏差。文章还讨论了推理成本、数据受限等现实约束对最优配比的影响,以及相关复现争议。

【Transformer 与注意力机制】34|Scaling Laws:Kaplan 与 Chinchilla 之争,以及算力预算怎么分配

土法炼钢兴趣小组的博客 土法炼钢兴趣小组的博客 · 2026-08-08T00:00:00Z
从Kaplan到Test-Time Compute:Scaling Law的真实演变与中文媒体的叙事偏差 - 张善友

Diogo指出Kaplan等人的Scaling Law存在技术缺陷,导致“参数越大越好”的错误结论。DeepMind的Chinchilla论文于2022年纠正了这一问题,提出了20:1的Token/参数最优比,促使行业转向更合理的训练策略。Meta的LLaMA系列和OpenAI的GPT-4等模型遵循这一原则,推动了AI训练方法的演变。虽然Diogo的文章有价值,但并非新发现,而是对已被纠正的技术偏差的回顾。

从Kaplan到Test-Time Compute:Scaling Law的真实演变与中文媒体的叙事偏差 - 张善友

张善友 张善友 · 2026-07-06T13:24:00Z

How contribution decisions shape the sustainability of the PostgreSQL ecosystem Last week at PGConf.DE, I gave a talk titled Not Just Altruism: Selling PostgreSQL Contributions to Your...

Valeria Kaplan: Why sell the idea of contributing to PostgreSQL to your employer

Planet PostgreSQL Planet PostgreSQL · 2026-04-30T11:31:26Z

A Journey Through PostgreSQL Events • Introduction • Community recognition (transparency, inclusivity, organisational balance) • If I organise a PostgreSQL event — does it have to be...

Valeria Kaplan: From PGDays to PGCon/fs

Planet PostgreSQL Planet PostgreSQL · 2025-12-15T22:51:22Z

Contributing to open source PostgreSQL — Blurring the Line Between Mine and Ours Reflections on Meaning, Growth, and Community in Open Source As the biggest PostgreSQL community...

Valeria Kaplan: PostgreSQL — Blurring the Line Between Mine and Ours

Planet PostgreSQL Planet PostgreSQL · 2025-10-22T22:33:25Z

本研究解决了在严格隐私法规下共享敏感医疗数据的挑战,提出了一种基于多方同态加密的隐私保护联邦Kaplan-Meier生存分析框架。新方法确保加密的联邦生存估计与集中结果高度一致,并通过实验验证了其在多个数据集上表现出色,具有较小的均绝对误差和均方根误差,展现出在保护数据隐私和实现高保真生存估计方面的显著潜力。

多方同态加密方法在保密的联邦Kaplan-Meier生存分析中的应用

BriefGPT - AI 论文速递 BriefGPT - AI 论文速递 · 2024-12-29T00:00:00Z
  • <<
  • <
  • 1 (current)
  • >
  • >>
👤 个人中心
在公众号发送验证码完成验证
登录验证
在本设备完成一次验证即可继续使用

完成下面两步后,将自动完成登录并继续当前操作。

1 关注公众号
小红花技术领袖公众号二维码
小红花技术领袖
如果当前 App 无法识别二维码,请在微信搜索并关注该公众号
2 发送验证码
在公众号对话中发送下面 4 位验证码
友情链接: MOGE.AI 九胧科技 1tok 菜鸟教程 Remio.AI DeekSeek连连 53AI 神龙海外代理IP IPIPGO全球代理IP 东波哥的博客 匡优考试在线考试系统 开源服务指南 蓝莺IM Solo 独立开发者社区 AI酷站导航 极客Fun 我爱水煮鱼 周报生成器 He3.app 简单简历 白鲸出海 T沙龙 职友集 TechParty 蟒周刊 Best AI Music Generator 模力方舟 Gitee AI

小红花技术领袖俱乐部
小红花·文摘:汇聚分发优质内容
小红花技术领袖俱乐部
Copyright © 2021-
粤ICP备2022094092号-1
公众号 小红花技术领袖俱乐部公众号二维码
视频号 小红花技术领袖俱乐部视频号二维码