科学空间|Scientific Spaces ·

除了交叉熵，LM Loss还有什么选择？

📝

内容提要

一直以来，交叉熵（Cross Entropy）都是LLM预训练和微调的标准损失函数。那这个“标准”可以改吗？如果想改，那又有哪些选择呢？改完之后又会带来什么影响呢？可能很多读者从未认真推敲过这些...

➡️

成都outing
公司outing，7月30日（周四）至8月3日（周一）在成都玩耍。大体上，周四晚上至周五下午是集体活动，之后则是自由活动。
新知识分子的新庸俗
首先定义新知识分子，不是什么专有名词，只是我在找到更合适的称呼之前暂用的词。我所指的新知识分子，是经过现代教育系统培养的，相对突出的一部分人。虽然他们没有...
三年后，我重写了 Nginx Formatter
2023 年，我借助 AI 把两百多行 beautifier.js 嵌入 Go、通过 goja 执行，快速做出了 soulteary/nginx-form...
我做了一个 Quote/0 看板，把 F1 赛程、积分和结果留在桌面
特别声明本文的项目构思、结构设计及相关素材整理均由人工完成。在产品开发与调试过程中，使用GPT-5.6Sol模型作为辅助工具，参与方案讨论、代码编写与问题...
Stripe Uses Graph Search and State Machines to Automate Database Remediation
The engineering team at Stripe recently described how they automated database...
Agent 插件如何走向工程化：Better Harness 的五个实践
把一项能力写进 `SKILL.md`，再封装成 Agent 插件，并不难。真正困难的是，当它被不同用户、不同项目和不同 Agent