冗余的重要性：表示机器教学
内容提要
该文汇总多项研究：机器教学需适应学生差异，O(min{d,N}log(1/eps))样本可教全班；共享内部表示提升泛化；范畴论概念表示助理解复杂概念；CNF冗余检查复杂度；部分排序文法学习；无监督表示学习进展；神经网络层冗余；子模块贪婪选例教学；任务相关特征增强特征选择；Graph2Tac整合新概念。
延伸解读
机器教学如何应对学生多样性
文章指出，教师面对学生初始状态和学习速度的差异时，若掌握学习动态，可用O(min{d,N}log(1/eps))个样本教授整个班级。这为分组教学策略提供了理论依据，并平衡教师成本与学生负担。
共享内部表示提升泛化能力
通过采样多个类似任务学习内部表示，不同学习任务可共享同一表示，从而获得更好泛化效果。梯度下降能有效训练神经网络内部表示，这为迁移学习和多任务学习提供了思路。
范畴论与冗余检查的启示
基于范畴论的简洁概念表示能训练模型精确理解概念，并产生不变性属性和层级分解，有助于学习复杂概念或纠正误解。同时，CNF公式冗余检查的复杂度研究揭示了知识库冗余问题的理论边界。
神经网络层冗余与教学选例
预训练神经网络中，给定层内许多神经元存在冗余，可能无需整个层即可执行下游任务，这为提高效率和减少数据成本提供了可能。基于子模块的贪婪算法能有效选择训练示例来教导分类规则。
Q&A
机器教学如何应对学生初始状态和学习速度的多样性？
当教师掌握学生学习动态时，使用 O(min{d,N} log(1/eps)) 个样本就能教授整个班级，同时需平衡教师成本与学生负担，并可采用分组教学策略。
共享内部表示为什么能提升机器学习泛化能力？
通过采样学习环境的多个类似任务来学习内部表示，不同的学习任务可以共享同一个内部表示，从而获得更好的泛化效果，且梯度下降能有效训练这种表示。
范畴论概念表示如何帮助理解复杂概念？
基于范畴论的简洁概念表示可以训练模型精确理解概念，产生不变性属性和层级分解，从而验证每个部分来学习复杂概念或纠正误解。
检查CNF公式冗余的复杂度如何？
研究了检查CNF公式是否冗余的复杂度，以及根据规定大小检查是否存在不可简化的等价子集，并讨论了不同等价定义下的冗余问题。
神经网络层中的冗余对下游任务有什么影响？
在预训练神经网络中，给定层内许多神经元存在冗余，可能不需要整个层来执行下游任务，这为提高下游任务效率和减少数据成本提供了可能。
Graph2Tac如何将新数学概念整合到知识库？
Graph2Tac模型通过考虑以往定义层次与当前目标之间的依赖关系，将新的数学概念整合到模型的知识库中，用于Coq的机器学习。
