本文探讨了视觉问答（VQA）中图像和查询领域数据不足的问题，提出了一种推导方法，通过借鉴过去的例子来推导领域关系，从而提高查询回答的准确性，仅需少量示例。

本研究提出自适应$^2$框架，以解决在线广告中领域数据分布变化的问题。通过自我监督学习自动挖掘领域信息，展示了其在广告系统中的商业价值和自动领域识别潜力，开启了新的研究方向。

本研究提出了DEPT框架，旨在解决多语种和领域数据异质性对语言模型预训练的负面影响。通过解耦嵌入层与变换器主体，DEPT显著提高了模型的泛化能力，并减少了嵌入参数数量，实现了无词汇依赖的联邦多语言预训练。