kTrans: 知识感知 Transformer 用于二进制代码嵌入
原文中文，约300字，阅读约需1分钟。发表于：。我们提出了一种基于 Transformer 的方法，即 kTrans，用于生成具有知识感知能力的二进制代码嵌入。通过将显式知识作为额外输入输入到 Transformer 中，并通过一种新的预训练任务将隐式知识与之融合，kTrans 为将领域知识融入 Transformer 框架提供了新的视角。评估结果显示，kTrans...
本文研究了基于transformer模型在生物医学领域的应用，特别是在癌症精准医学中解释基因组变异的临床意义。分析发现这些模型能够编码生物知识，但在特定任务中微调时可能会丢失部分知识。同时，还分析了模型在数据集中的偏见和不平衡行为。
