本文解决了当前合理化研究中从完整输入中提取关键理由的难题，指出了最大互信息（MMI）方法的边际收益递减问题。我们提出了一种新方法，通过分析输入在神经网络权重矩阵上的利用情况，以候选理由的范数作为目标，比MMI及其改进版本更有效地识别合理化理由，从而为解释性研究贡献了新的思路。

本研究提出了一种新的互信息缩放定律，解决了自然语言中的长范围依赖问题，为长文档语言建模提供了重要见解，并为大型语言模型的发展奠定了理论基础。

本研究提出了一种新的公平性概念：均等机会（EO），针对生存分析中的公平性问题。通过条件互信息增强（CMIA）方法，引入公平性正则化和审查数据增强技术，以平衡预测准确性与公平性，显著降低预测差异。

本文探讨了LoRA微调中性能、参数与数据复杂性之间的关系，提出了一种基于互信息上界的内部度量，能够更准确地捕捉新旧知识的依赖关系。实验结果表明，该方法在评估LoRA微调的缩放法则上优于传统方法。

本研究解决了当前数据集蒸馏（DD）方法在生成合成数据集时难以学习的问题，提出了基于条件互信息（CMI）的新方法来评估数据集的类别感知复杂性。通过最小化CMI，我们的实验证明，该方法可作为现有数据集蒸馏方法的一种通用正则化手段，从而提高性能和训练效率。

本文量化了系统 $X$ 和 $Y$ 之间的依赖性，提出了新的依赖性度量 $B(X,Y|D)$，该度量通过贝叶斯比较方法有效识别支持依赖模型的证据，并揭示了其与互信息的相似性和差异性。

本研究解决了在大规模数据集中计算互信息（MI）所面临的计算障碍。通过引入一种基于矩阵的算法，利用向量化操作和优化的矩阵计算，显著提高了MI的计算效率，特别是在使用硬件优化框架时，其计算时间缩短了万个数量级。这一方法有望扩展MI在数据驱动研究中的应用，克服以往的计算限制。

本研究提出了一种基于条件互信息的结构化滤波器修剪方法，旨在解决深度卷积神经网络在资源有限硬件上的部署问题。该方法有效减少模型大小，且准确率几乎不变。在CIFAR-10数据集上，VGG16的滤波器数量减少超过三分之一，准确率仅下降0.32%。

本研究针对高维数据分布学习中的树结构问题，提出了一种有效算法并提供理论支持。设计的条件互信息测试器能够高效判断高斯随机变量的独立性，结果表明该算法在样本需求上接近最优，对高斯树模型学习有显著影响。

该研究提出了一种名为DisPA的解耦表示学习框架，旨在解决无参考点云质量评估中的内容与失真混合问题。实验结果表明，DisPA在多个数据集上优于现有方法，具有提升虚拟现实和增强现实质量评估能力的潜力。

本文提出了一种新评估指标GEM，用于评估大型语言模型生成信息性判断的表现。GEM通过估计候选回答与参考回答之间的互信息，实验证明其在与人类评分的相关性上优于现有方法，并在操控情况下表现出更强的鲁棒性。

本文研究了有界更新的迭代学习算法在非凸损失函数上的泛化特性，提出了新的泛化误差界，超越了随机梯度下降的研究。通过重新表述互信息和方差分解技术，分析了泛化界并探讨了大型语言模型的标度行为，为实用泛化理论的发展提供了新思路。

本研究提出了一种新方法，通过引入基于点对点互信息的加权机制，改进传统行为克隆学习，从专家轨迹中恢复多样化策略。在经典控制环境和平台游戏中，该方法优于标准方法。研究还介绍了多种模仿学习算法，如MILO框架、TRAIL算法和RelaxDICE，解决了协变量漂移、次优数据利用和离线模仿学习中的挑战。实验结果显示，这些方法提高了模仿学习的效率和性能。

本文研究了如何通过预训练任务将知识注入模型，并测试其回答事实性问题的能力。实验表明，掩盖实体和基于互信息的方法能更好保留知识，而随机遮盖词会导致遗忘。研究还提出了防止知识遗忘的方法。

研究提出了一种自我监督的互信息对齐方法（SAMI），用于优化多任务环境中的语言模型。SAMI通过增强行为偏好与模型响应的联系，在多任务测试中表现出色，尤其在数学准确性上有显著提升。该方法无需偏好标签或示范，能够在对话和摘要任务中超越预训练和微调模型，为模型优化提供了新思路。

本研究探讨合成数据在大型语言模型后训练中的应用，提出反瓶颈视角，强调信息增益对模型泛化能力的重要性。引入互信息的泛化增益概念，为合成数据生成和后训练优化提供理论支持。

本文研究少样本持续关系提取中的知识集成，提出利用语言模型头的新方法，通过最大化互信息来保持预训练模型的知识并提升分类性能。实验结果表明，该方法在应对挑战方面效果显著，并指出了未来的研究方向。

本研究提出了一种新的多队列分析方法，用于解决现有深度学习方法在全切片图像分类中只能处理单一肿瘤类型的问题。通过引入队列感知注意力模块和对抗性队列正则化机制，优化了模型在不同肿瘤类型间的泛化能力，并显著提升了跨肿瘤的整体表现。这一框架提供了一种在多种癌症类型中进行全切片图像分类的可扩展且无偏学习的解决方案。

本文介绍了一种基于互信息的偏好导向多样性模型（PODM-MI），用于电子商务搜索的重排过程。该模型通过考虑用户需求的准确性和多样性，在重排过程中提高商品打分精度和多样性。PODM-MI采用多维高斯分布捕捉用户多样性偏好，并利用最大变分推理下界最大化用户多样性偏好与候选商品之间的互信息。实验结果证明了PODM-MI的显著提升。