本文解决了当前合理化研究中从完整输入中提取关键理由的难题，指出了最大互信息（MMI）方法的边际收益递减问题。我们提出了一种新方法，通过分析输入在神经网络权重矩阵上的利用情况，以候选理由的范数作为目标，比MMI及其改进版本更有效地识别合理化理由，从而为解释性研究贡献了新的思路。

本研究提出了一种新的互信息缩放定律，解决了自然语言中的长范围依赖问题，为长文档语言建模提供了重要见解，并为大型语言模型的发展奠定了理论基础。

本文探讨了LoRA微调中性能、参数与数据复杂性之间的关系，提出了一种基于互信息上界的内部度量，能够更准确地捕捉新旧知识的依赖关系。实验结果表明，该方法在评估LoRA微调的缩放法则上优于传统方法。

本研究解决了当前数据集蒸馏（DD）方法在生成合成数据集时难以学习的问题，提出了基于条件互信息（CMI）的新方法来评估数据集的类别感知复杂性。通过最小化CMI，我们的实验证明，该方法可作为现有数据集蒸馏方法的一种通用正则化手段，从而提高性能和训练效率。

本文提出了一种基于贝叶斯模型比较的方法，用于量化数据集中两个系统 $X$ 和 $Y$ 之间的依赖性。通过度量 $B(X,Y|D)$，可以有效识别支持依赖模型的证据，并揭示其与互信息的相似性与差异性。

本研究解决了在大规模数据集中计算互信息（MI）所面临的计算障碍。通过引入一种基于矩阵的算法，利用向量化操作和优化的矩阵计算，显著提高了MI的计算效率，特别是在使用硬件优化框架时，其计算时间缩短了万个数量级。这一方法有望扩展MI在数据驱动研究中的应用，克服以往的计算限制。

该研究提出了一种名为DisPA的解耦表示学习框架，旨在解决无参考点云质量评估中的内容与失真混合问题。实验结果表明，DisPA在多个数据集上优于现有方法，具有提升虚拟现实和增强现实质量评估能力的潜力。

本文提出了一种新评估指标GEM，用于评估大型语言模型生成信息性判断的表现。GEM通过估计候选回答与参考回答之间的互信息，实验证明其在与人类评分的相关性上优于现有方法，并在操控情况下表现出更强的鲁棒性。

本文探讨了对比学习在图像表示学习中的应用，提出了最大化互信息的目标函数，并强调选择难度较大的负样本以提升性能。研究表明，该方法在分类、检测和分割任务中表现优越，同时分析了对比学习的理论基础及其在多个领域的应用，提出了未来研究方向和挑战。

本研究提出了一种新方法，通过引入基于点对点互信息的加权机制，改进传统行为克隆学习，从专家轨迹中恢复多样化策略。在经典控制环境和平台游戏中，该方法优于标准方法。研究还介绍了多种模仿学习算法，如MILO框架、TRAIL算法和RelaxDICE，解决了协变量漂移、次优数据利用和离线模仿学习中的挑战。实验结果显示，这些方法提高了模仿学习的效率和性能。

研究提出了一种自我监督的互信息对齐方法（SAMI），用于优化多任务环境中的语言模型。SAMI通过增强行为偏好与模型响应的联系，在多任务测试中表现出色，尤其在数学准确性上有显著提升。该方法无需偏好标签或示范，能够在对话和摘要任务中超越预训练和微调模型，为模型优化提供了新思路。

本研究探讨合成数据在大型语言模型后训练中的应用，提出反瓶颈视角，强调信息增益对模型泛化能力的重要性。引入互信息的泛化增益概念，为合成数据生成和后训练优化提供理论支持。

本文研究了少样本持续关系提取中的知识集成问题，提出了一种通过最大化互信息来保持预训练模型知识的新方法，显著提升了分类性能。实验结果表明该方法在FCRE挑战中表现优异，并指出了未来的研究方向。

本文探讨了基于信息理论的深度学习模型，研究熵和互信息的计算方法，提出新的自监督学习策略，强调互信息在特征提取和模型训练中的重要性。实验结果表明，提出的互信息模型在多个数据集上优于传统方法，提高了分类准确率，并引入新的评估指标以优化监督学习过程。

本文提出了一种基于深度学习的多实例学习方法，用于从组织病理学图像中识别癌症亚型，测试结果显示其准确性优于传统方法。研究强调了该方法在癌症检测中的应用潜力，并提出了染色规范化模型以提高特征泛化能力，解决了数字病理学中的特征聚类问题。

本文介绍了一种基于互信息的偏好导向多样性模型（PODM-MI），用于电子商务搜索的重排过程。该模型通过考虑用户需求的准确性和多样性，在重排过程中提高商品打分精度和多样性。PODM-MI采用多维高斯分布捕捉用户多样性偏好，并利用最大变分推理下界最大化用户多样性偏好与候选商品之间的互信息。实验结果证明了PODM-MI的显著提升。

本文介绍了一种基于信息论的动态特征选择方法，利用学习策略高效获取特征。该方法在多个数据集上表现优于现有技术，适用于情感分析和图像识别等任务。此外，研究还提出了基于强化学习的动态特征选择，以优化临床预测监测中的数据挖掘效果。

本文提出了一种基于高斯法线表示的监督学习方法，旨在提高反射场景的几何细节重建。通过极化先验引导学习，并优化重权策略以减轻噪声，实验证明该方法在神经三维重建中表现优异。

本文研究了类别学习中的表示效率问题，提出通过最小化编码成本来最大化类别集合与神经活动之间的互信息。同时，展示了编码神经群体的Fisher信息与类别边界的对齐关系，并探讨了深度学习在编码智能中的应用，提供了开源工具包以促进模型评估与比较。