内容提要
本文是Transformer五阶段自测卷的Final Exam部分,涵盖RoPE相对位置推导、FlashAttention分块验算、MoE负载均衡下界、MLA显存压缩、投机采样无偏性、Top-p与温度顺序陷阱、QK/OV电路与TC⁰边界、Mamba离散化与线性注意力碰撞等题目,并附评分细则、NumPy核验脚本及按得分率回溯薄弱章节的诊断表。
延伸解读
五套考卷的分阶段设计
文章将全系列61篇内容划分为五个学习阶段,并对应五套限时闭卷考卷,从Quiz 0到Final Exam合计430分。每套考卷严格限定在对应章节范围内,不跨阶段超纲,例如读完第08.5篇即可完成Quiz 0。这种设计让读者能在每个阶段结束后立即检验内化程度,而非等到全部读完再统一复习。
闭卷推导与独立核验的评分机制
考卷按闭卷纸笔推导占90%、独立核验占10%设计,要求先关闭所有章节页面和Python终端,在空白纸上写出完整推导与数值步骤,再对照评分细则。涉及指数、对数等数值计算可使用基础科学计算器,完成全卷后统一运行NumPy脚本交叉校验。这种机制强调手算能力,避免依赖代码运行结果而跳过原理理解。
得分率回溯与薄弱章节诊断
每题末尾和文末诊断表均给出优先补漏章节链接,凡得分低于该题满分70%的模块,建议重做对应章节的「跟着纸笔算一遍」与课后作业后再重测。这种按得分率回溯薄弱章节的方式,将考试结果直接转化为学习路径调整依据,而非仅提供一个总分。读者可据此定位具体知识缺口,而非笼统地重读整个阶段。
Q&A
这套Transformer自测卷总共有多少分?包含哪几套考卷?
总分为430分,包含五套考卷:Quiz 0(50分)、Quiz 1(100分)、Midterm A(60分)、Midterm B(100分)和Final Exam(120分)。
Final Exam覆盖哪些章节?及格线和优秀线分别是多少?
Final Exam覆盖第41–59篇,及格线为84分(70%),优秀线为102分(85%)。
Quiz 0的考试范围是什么?学完哪些内容后可以参加?
Quiz 0严格限定在第01–08.5篇(含03.5)范围内,不涉及序列循环、注意力机制、QKV矩阵或Transformer架构概念;读完第08.5篇即可立即闭卷完成。
考试时允许使用计算器吗?如何核验答案?
允许使用基础科学计算器进行指数、对数等数值计算(如e^1≈2.718282),但需先独立在空白草稿纸上写出完整推导与数值步骤,完成全卷后统一运行第七节的纯Python/NumPy脚本交叉校验。
如果某题得分低于70%,应该怎么复习?
每题末尾和文末诊断表均给出了优先补漏章节链接,凡得分低于该题满分70%的模块,建议重做对应章节的「跟着纸笔算一遍」与课后作业后再重测。
Midterm A和Midterm B分别覆盖哪些内容?
Midterm A覆盖第19–28篇(原论文架构与训练基线),Midterm B覆盖第29–40篇(现代训练范式与三大路线)。