本研究提出了BiPVL-Seg框架，解决医学图像分割中忽视文本信息的问题。该框架通过视觉与语言的融合与对齐，显著提高了复杂多类别分割任务的精度，优于现有方法。

本文提出了一种新型多模态大语言模型AKI，解决了视觉与语言不对齐的问题。通过将因果注意力转化为模态互注意力，AKI显著提升了模型在理解基准上的表现，推动了多模态研究的发展。