BriefGPT - AI 论文速递 BriefGPT - AI 论文速递 ·

Language Models Fail to Introspect About Their Knowledge of Language

💡 原文英文，约100词，阅读约需1分钟。
📝

内容提要

本研究探讨大型语言模型（LLMs）是否能够自我反思其语言知识，尤其是语法和词预测。结果表明，尽管模型在任务中表现良好，但缺乏自我访问能力，这对理解其语言知识提出了新挑战。

🏷️

标签

models 大型语言模型 自我反思 词预测 语法 语言知识
➡️

继续阅读

  1. Kimi K3 模型结构（3）：序列维度，Gated MLA 与 3:1 混合
    本文介绍Kimi K3模型结构：采用3:1混合，每四层含一层Gated MLA（无位置编码、满秩sigmoid门），其余为KDA层。MLA低秩压缩KV至5...
  2. 内容创作者失误
    During Naomi Osaka's match against Anastasia Zakharova at this year's...
  3. Kimi K3 模型结构（2）：序列维度（下），chunkwise 并行与下界衰减
    本文介绍Kimi K3模型序列维度的chunkwise并行算法：将序列分块，块间递推状态、块内用矩阵乘并行计算。K3将每步log-decay加−5下界，使...
  4. 如何凭空参加行业大会，观看大佬分享？AI帮你打开思维，轻松理解每一个最新前沿知识
    故事的开始是这样的，我前两天，看到抖音官方发布了它们的推荐系统的分享内容，这份来自官方的资料，值得每一个研究抖音的朋友学习。但是，这份内容的文字比较多，而...
  5. 谎言秩序：俄罗斯的公共生活的荒诞性
    俄罗斯这个民族的公共生活是由谎言所维系的，其民族集体心理已经陷入深度扭曲长达几个世纪。帝国时代，沙皇君权神授，体贴爱民；假如哪里出了问题，那一定是贵族和官...
  6. Kimi K3 模型结构（1）：序列维度（上），从线性注意力到 KDA
    本文介绍Kimi K3模型中KDA（Kimi Delta Attention）的递推形式，从线性注意力、DeltaNet到Gated DeltaNet演进...
👤 个人中心
在公众号发送验证码完成验证