Transformer 架构所需的量子线性代数
内容提要
该文综述量子机器学习进展：混合迁移学习中经典组件常被误归因于量子元素；Transformer可重构量子态并提升量子嵌入分类性能；张量网络可统一经典与量子计算；Transformer还能学习线性代数且具鲁棒性；量化感知张量压缩实现高压缩比；FLASH等改良模型加速训练；Grover算法加速稀疏注意力；量子循环神经网络亦被提出。
延伸解读
混合迁移学习中的归因问题
文章指出，在混合迁移学习中，经典组件对分类结果有显著影响，但这一贡献常被错误地归因于量子元素。这提醒研究者在评估量子机器学习模型时，需谨慎区分经典与量子部分的作用，避免高估量子组件的效能。
Transformer 在量子任务中的多重角色
Transformer 不仅能基于注意力机制重构量子态密度矩阵，还能提升量子嵌入分类性能，例如在 BirdCLEF-2021 数据集上使单比特分类器中值 F1 得分提高约 3%。此外，它可学习线性代数运算，对噪声鲁棒且能泛化到训练分布之外。
张量网络统一经典与量子计算
文章提出基于张量网络的量子计算方法，使经典与量子计算共享理论和算法基础。张量网络电路在量子计算机模型训练中高效节省，并通过手写识别实验验证了可行性，为量子机器学习提供了统一框架。
效率优化与量子加速
量化感知张量压缩可实现高达 63 倍的压缩比且几乎无损，FLASH 模型训练速度提升最多 4.9 倍，Grover 算法为稀疏注意力带来多项式量子加速。这些进展共同推动量子机器学习向实用化迈进。
Q&A
Transformer 如何用于量子状态重构？
通过利用 Transformer 模型捕捉不同测量结果之间的相关性，提出了一种基于注意力机制的量子状态重构方法，能够高效地恢复纯态和混合态的密度矩阵。
张量网络如何统一经典计算与量子计算？
基于张量网络的量子计算方法使经典计算和量子计算可共享同样的理论和算法基础，且张量网络电路在量子计算机模型的训练中具有高效节省的优势，并通过手写识别模型的数值实验验证了其可行性。
Transformer 能学习线性代数吗？其表现如何？
是的，Transformer 可以学习执行数字计算。作者研究了从基本矩阵操作到特征值分解和求逆的九个线性代数问题，并引入四种编码方案表示实数。使用随机矩阵训练的 Transformers 在所有问题上都能达到高准确度，且对噪声具有鲁棒性，在训练分布之外也具有泛化能力。
量化感知张量压缩如何提升 Transformer 效率？
该方法通过将 Transformer 模型的嵌入层和线性层压缩成小的低秩张量核，获得低精度模型表示进行端到端和蒸馏训练，并应用层与层蒸馏将预训练模型转换为量化和张量压缩的学生模型以提高收敛速度。在两个自然语言理解任务中实现了高达 63 倍的压缩比、几乎无损的精度损失和显著的推断与训练加速。
FLASH 模型如何改良 Transformer？
FLASH 模型使用门控注意力单元和线性近似方法改良 Transformers。在短序列和长序列上都达到了改良 Transformers 的分词结果，同时在 Wiki-40B 和 PG-19 的自回归语言模型上训练速度最多提升了 4.9 倍，在掩蔽语言模型上提升了 4.8 倍。
Grover 算法如何加速稀疏注意力计算？
利用 Grover 的搜索算法可以有效地计算稀疏注意力计算矩阵，并在经典方法上实现了多项式量子加速。输出的注意力矩阵还具有额外的低秩结构，有助于获得更快的 LLM 训练算法。
