知识追踪中基于进化的 Transformer 神经架构搜索
原文中文,约200字,阅读约需1分钟。发表于: 。本研究旨在通过使用卷积操作增强 Transformer 的局部上下文建模能力,提出一种进化神经架构搜索方法来自动选择输入特征,并自动确定何时应用哪种操作以实现局部 / 全局上下文建模的平衡,实验结果表明该方法能有效地找到最优体系结构。
研究提出了一种名为MUSE的知识追踪模型,能够捕捉用户在不同时间范围内的知识状态的动态变化,并在Riiid AIEd Challenge 2020中获得第五名。该模型基于Transformer和多尺度时间传感器单元。