1948年，Claude Shannon提出信息论，奠定了现代密码学的基础。他通过Shannon熵明确了完美保密的条件，指出一次一密是唯一的完美保密系统。尽管理论上安全，实际应用中密钥管理等问题使得现代密码学转向计算安全，追求在有限计算能力下的安全性。

本研究提出了一种统一的信息论方程，概括了表征学习中多种损失函数的多样性。研究发现多种机器学习方法能够最小化KL散度积分，支持聚类、谱方法和对比学习，并开发了新损失函数，使ImageNet-1K的无监督分类性能提升超过8%。

本研究提出了一种基于信息论的方法，用于识别历史文献中的公式性群集，特别适用于多作者文本如希伯来圣经。该算法通过加权自信息分布检测文本结构模式，为文本分析提供量化框架，增强对复杂文本的理解。

本研究解决了多任务表示学习中的噪声不变性不足的问题，提出了一种新的框架（InfoMTL），以确保共享表示对于所有任务的充分性，并减少冗余特征的负面影响。通过共享信息最大化和任务特定信息最小化的原则，实验结果表明，该方法在多任务设置下，特别是在数据有限和噪声场景中，相较于12种对比方法具有显著优势。

本研究评估了大型语言模型（LLMs）模拟人类二语学习者在其母语干扰下的非母语英语使用的能力。通过提示LLMs模仿不同母语学习者的对话，研究发现现代LLMs可以复制人类二语数据中的母语依赖模式，展示了其在未来教育应用中进行二语对话生成和评估的潜力。

本研究提出FALCON方法，通过信息论指导参数选择，增强表示分离，解决大语言模型编码敏感信息的安全隐患。实验表明，FALCON在有效遗忘的同时保持模型实用性，展现出强大的知识恢复抵抗力。

本文探讨了意向性继承的形式化与量化，提出了一种信息论方法，通过分析属性集及其相互作用，推导出相关公式，揭示传统集合论的特殊性。研究表明，意向性继承能更准确地描述概念间的信息传递关系，帮助理解概念的内在联系。

本文提出了一种信息论特征来表征K-聚类的无歧义性，并设计了算法以显著提高重叠聚类的处理效果，优于常用算法。

本文提出了一种基于大型语言模型的生成聚类方法，通过KL散度定义相似性，并提出新颖的聚类算法。研究表明，该方法在聚类性能和文档检索准确性上显著提升。

本研究提出了一种基于信息论的统一视角，用于评估生成模型的输出。引入三维度评估指标，测量生成输出的真实度和多样性，以提供更清晰的分析和理解。

该研究解决了图像伪造定位中如何提取更全面、准确的伪造线索这一紧迫问题。提出的SUMI-IFL框架通过施加充分性视图和最小性视图约束，增强了伪造特征的表示能力。实验表明，SUMI-IFL在现有最先进的方法中表现优越，具备良好的应用前景。

本研究提出FSNID方法，解决网络入侵检测中特征质量不均的问题，通过信息论和神经网络去除无信息特征，处理时间依赖性，显著减少特征集。

本文提出了一种新的评估框架，用于比较生成模型与人类生成内容的差异，重点分析样本的可识别性和多样性。研究表明，GAN和VAE模型在多样性和可识别性上互补，所提出的评估方法有助于推动人工智能技术的发展。此外，针对文本生成图像模型的不足，研究提出了在线提示优化框架，显著提升了生成高质量少数实例的能力。

该研究探讨了神经网络的泛化性能，提出了非欧几里得正则化和稀疏感应规范的几何解释，分析了卷积神经网络和高复杂度网络的训练，证明了泛化误差与网络结构的关系，并提出了新的泛化误差界限。此外，研究还探讨了信息论在优化中的应用，提出了改进的泛化理论，为深度学习提供了理论支持。