BriefGPT - AI 论文速递 ·

Optimizing Pretraining Data Mixtures with LLM-Estimated Utility

💡 原文英文，约100词，阅读约需1分钟。

📝

内容提要

本研究探讨在训练大型语言模型时如何平衡数据的质量、数量和来源多样性。提出了两种新方法：UtiliMax和模型估计数据效用（MEDU），显著提高了训练效率并降低了计算需求，为数据混合的自动化和高效计算提供了新框架。

🏷️

2026年可用的5个免费LLM API提供商
本文介绍了五个提供免费LLM API的服务商：GroqCloud（高速推理）、OpenRouter（多模型试用）、Cloudflare Workers A...
Presentation: From S3 to GPU in One Copy: Rethinking Data Loading for ML Training
Onur Satici explains how Vortex, an open-source columnar file format under th...
2026 09 06 HackerNews
2026-09-06 Hacker News Top Stories # Anthropic 团队用 Claude AI 在11天内完成了费马大...
推理服务的缓存与调度：前缀、多级存储、集群路由
本文讨论长上下文推理服务的缓存与调度优化。核心原则是缓存未命中比命中贵几个数量级，因此设计围绕复用展开：单实例内通过块哈希实现前缀缓存；KV池采用writ...
显存账本：每张卡上住着什么，搬走付什么
本文介绍训练大模型时显存管理的通用记账方法。显存分为五类：权重、梯度、优化器状态、激活和通信缓冲。前三类由参数量和并行度决定，激活随输入长度增长，优化空间...
AI时代重审欧陆哲学：卡尔纳普语言手术刀再杀海德格
卡尔纳普一刀砍死形而上学，结果砍了个寂寞？所有人都说逻辑实证主义是一场彻底的失败，但当代哲学家用的工具全是他们造的！哲学圈最近吵翻了一个老话题：一个叫...