本文评估了无监督和监督的句子嵌入训练对语言编码器质量和交叉模态任务性能的影响。研究发现，句子嵌入训练有助于提高对比视觉-语言模型的性能，但在音频-语言预训练中效果较少。句子嵌入训练改善了文本空间的均匀性，但降低了交叉模态对齐性。