通过自我监督辅助学习实现多任务学习的表示学习
原文中文，约500字，阅读约需1分钟。发表于：。本研究针对多任务学习中共享编码器生成表示质量不足的问题，提出了一种新方法——虚拟梯度范数正则化（DGR）。该方法通过减少虚拟任务特定预测器损失函数的梯度范数，提升共享编码器表示的通用性。实验表明，DGR显著改善了多任务预测性能，并在计算效率上也表现出优势。
该论文提出了一种通用的可解释性预测系统，通过共享嵌入在多任务中进行预测。系统在共同空间中获取输入和输出嵌入，并将其作为模型参数进行学习。通过限制共享嵌入空间和注意机制的稀疏性，实验表明共享嵌入不仅不影响结果，还提高了准确性并减少了训练步骤。共享嵌入在可解释性和准确性之间提供了平衡，扩展了变量嵌入方法。
