SimulSeamless：FBK 参加 IWSLT 2024 同传
内容提要
该论文介绍了FBK在IWSLT 2023评估活动中的同声翻译和自动字幕轨道研究。通过直接架构优化实时推理和字幕生成，显著降低计算延迟并提高翻译质量。同时，研究探讨了模型训练成本，提出轻量级训练策略以提升翻译准确度。
延伸解读
直接架构在同传与字幕任务中的优势
FBK 在 IWSLT 2023 的提交中，对同声翻译和自动字幕均采用直接架构。同传方面，利用离线训练模型的知识直接应用策略实现实时推理；字幕方面，调整直接 ST 模型生成符合规范的字幕，并利用相同架构生成与视听内容同步的时间戳。这种统一架构减少了任务特定组件的复杂性，为实时场景提供了高效解决方案。
性能提升的具体表现
与 2021 和 2022 年任务排名前几的系统相比，FBK 的英德 SimulST 系统计算感知延迟更低，BLEU 分数最多提高 3.5 分。自动字幕系统在英德和英西文中分别比基于直接系统的唯一现有解决方案提升了 3.7 和 1.7 SubER。这些数据表明，直接架构在质量和延迟的权衡上取得了显著进步。
轻量级训练策略的探索
研究还关注模型训练成本问题，通过考察 ASR 预训练、数据过滤和音频分段等因素，提出了一种轻量级训练策略。该策略旨在降低训练成本的同时优化翻译质量，并提升模型准确度。这为资源有限的研究团队参与同传任务提供了可行路径，但具体实施细节和泛化能力需进一步验证。
Q&A
FBK在IWSLT 2023的研究重点是什么？
FBK在IWSLT 2023的研究重点是同声翻译和自动字幕轨道的研究。
FBK的SimulST系统在翻译质量上有什么提升？
FBK的SimulST系统在英德翻译中BLEU分数提高最多3.5分。
FBK如何降低计算延迟？
FBK通过直接架构优化实现实时推理和字幕生成，从而显著降低计算延迟。
FBK的自动字幕系统与现有解决方案相比表现如何？
FBK的自动字幕系统在英德和英西文中分别优于现有解决方案3.7和1.7 SubER。
FBK在模型训练方面提出了什么策略？
FBK提出了一种轻量级的训练策略，以优化翻译质量并降低模型训练成本。
FBK的研究对翻译准确度有什么影响？
FBK的研究通过轻量级训练策略提升了模型的翻译准确度。
