本研究分析了传统级联语音翻译模型的局限性，并介绍了Google的Translatotron模型，该模型在翻译效率和准确性上有所提升，尤其在非洲语言翻译方面表现突出。

本文提出了一种新型的端对端文本图像翻译模型，利用OCR和MT数据集的知识，建立了一种新颖的模态适配器，通过端到端TIMT损失和跨模态对比损失对齐OCR和MT任务的特征分布。实验证明，该方法比现有的两阶段级联模型和一阶段端对端模型更轻、更快，且具有泛化性。