乐谱变换器：端到端的光学乐谱识别超越单声部转录
内容提要
该文汇总多项音乐信息检索研究，涵盖端到端复调乐谱识别（TrOMR及相机场景数据集）、统一音乐表示（MTN）用于规范OMR评估、通用Transformer替代专用模型进行自动音乐转录、多任务学习联合转录多种乐器、合成音频预训练、多轨音乐表示与实时即兴演奏、数据增强提升音符起始准确率、阿拉伯文献OCR，以及Sheet Sage、NoteEM等音频转乐谱方法。
延伸解读
端到端复调OMR的突破
TrOMR采用Transformer架构，具备全局感知能力，通过一致性损失函数和数据注释方法提升复杂乐谱识别精度。研究还构建了真实场景的相机拍摄全页乐谱数据集，实验证明其在真实场景中优于现有OMR方法，并提供了代码和数据集便于复现。
统一表示与评估标准
音乐树符号（MTN）被提出作为共同的音乐表示语言，旨在解决音乐识别系统评估指标不一致的问题。该研究通过特定的OMR评估指标和排版乐谱数据集验证了MTN的有效性，为不同系统间的公平比较提供了基础。
通用Transformer简化转录
研究表明，使用通用encoder-decoder Transformer和标准解码方法，可以达到与专业领域特定设计模型同等的自动音乐转录效果。这消除了对任务特定架构的需求，使研究者能更专注于数据集创建和标注，而非模型设计。
多任务学习与数据增强
多任务学习模型能联合转录多种乐器，在低资源乐器上表现显著且保持高质量。数据增强技术在MAESTRO数据集上应用后，无需额外训练数据即在MAPS数据集上取得最新音符起始准确率，展示了数据角度优化的潜力。
Q&A
TrOMR是什么？它有什么特点？
TrOMR是一种基于Transformer的端到端复调光学乐谱识别方法，具有优秀的全局感知能力。它通过引入新颖的一致性损失函数和合理的数据注释方法，提高了对复杂乐谱的识别精度，并在真实场景中优于当前OMR方法。研究还开发了TrOMR系统，并构建了用于真实世界全页乐谱的相机场景数据集。
音乐树符号（MTN）是什么？它解决了什么问题？
音乐树符号（MTN）是一种共同的音乐表示语言，旨在解决音乐识别系统评估指标不一致的问题。该论文通过特定的OMR评估指标和排版乐谱数据集验证了这一想法。
通用Transformer在自动音乐转录中表现如何？
使用通用encoder-decoder Transformer和标准解码方法可以实现与专业领域特定设计模型同等效果的自动音乐转录，从而取消了任务特定架构的需求，简化了转录过程，使研究者可以更专注于数据集创建和标注而非模型设计。
多任务学习在自动音乐转录中有什么优势？
利用序列到序列传递学习的多任务自然语言处理模型，可以在多个不同的乐器转录数据集上对多种音乐乐器进行联合转录。这种方法在低资源乐器上表现显著，同时保持高质量的表现结果，是多任务自动音乐转录领域的强有力基线。
使用合成音频数据预训练对乐器自动转录有什么帮助？
使用软件合成音频数据训练通用模型可以加快乐器自动转录模型的转移学习。结果表明，使用合成数据训练模型可能是预训练通用模型的良好基础。
Sheet Sage和NoteEM是什么？它们有什么功能？
Sheet Sage是一个利用Jukebox描述音频数据并结合新数据集进行模型训练的系统，在旋律转录方面取得显著进展，能够直接从音频转录可阅读的乐谱。NoteEM是一种自动化的乐曲信息获取方法，能够从现实世界的音频记录中以高精度解码出对应的乐曲内容，主要采用非对齐监督、伪标签和音高位移等技术，在MAPS数据集上取得了最好的记录水平准确度，并在跨数据集评估中表现出积极优势。
