本研究提出了一种基于物理知识的多任务预训练框架（PIM），旨在提高基于惯性传感器的人类活动识别准确性。通过自监督学习利用人体运动的物理特征，实验结果表明该方法在多个数据集上优于现有技术，尤其在少量标签样本中表现出显著的性能提升潜力。

本文研究了多任务预训练在自然语言处理中的效果，提出了ExT5模型，通过107个任务的自监督和监督学习显著提升了性能和样本效率。同时，提出了ComplexityNet模型，专注于任务复杂性评估，展现了在准确性和计算资源使用上的优势。此外，研究探讨了任务分组和难度标注数据集的构建，为多任务学习提供了新的方法和基准。

本文探讨了多视角自监督学习在情感识别中的应用，提出了多任务预训练方法和基于卷积神经网络的模型，显著提升了情感识别的性能，尤其在低资源语言中表现优异。实验结果表明，该方法在多种语料库中均取得了良好效果。

通过多任务预训练的多任务语义分解框架，加强预训练语言模型中的实体表示。实验证明该方法在两个少样本命名实体识别基准测试中优于强基线模型，并验证了其有效性和泛化能力。

本文介绍了一种利用类平衡数据集和多任务预训练的多语言模型，以获得更一般化的表示。作者采用多种方法提高模型的泛化能力和鲁棒性，并使用多粒度语义单元增强模型的表示能力。该方法在三个任务中排名前八。