通过对齐抽象层次改善跨模态转移的文本-语音语言模型

本研究解决了文本-语音语言模型（TSLMs）在跨模态知识转移中的限制，提出了通过模块化增强词汇扩展来对齐不同层次的抽象层，以改善特征组合性的问题。研究表明，我们的方法\textsc{SmolTolk}在计算资源显著减少的情况下，实现了或者超过了目前最先进的TSLMs的性能，提示该方法能够有效提升跨模态转移能力。