1948年，Claude Shannon提出信息论，奠定了现代密码学的基础。他通过Shannon熵明确了完美保密的条件，指出一次一密是唯一的完美保密系统。尽管理论上安全，实际应用中密钥管理等问题使得现代密码学转向计算安全，追求在有限计算能力下的安全性。

本研究提出了一种统一的信息论方程，概括了表征学习中多种损失函数的多样性。研究发现多种机器学习方法能够最小化KL散度积分，支持聚类、谱方法和对比学习，并开发了新损失函数，使ImageNet-1K的无监督分类性能提升超过8%。

本研究提出了一种基于信息论的方法，用于识别历史文献中的公式性群集，特别适用于多作者文本如希伯来圣经。该算法通过加权自信息分布检测文本结构模式，为文本分析提供量化框架，增强对复杂文本的理解。

本研究解决了多任务表示学习中的噪声不变性不足的问题，提出了一种新的框架（InfoMTL），以确保共享表示对于所有任务的充分性，并减少冗余特征的负面影响。通过共享信息最大化和任务特定信息最小化的原则，实验结果表明，该方法在多任务设置下，特别是在数据有限和噪声场景中，相较于12种对比方法具有显著优势。

本研究评估了大型语言模型（LLMs）模拟人类二语学习者在其母语干扰下的非母语英语使用的能力。通过提示LLMs模仿不同母语学习者的对话，研究发现现代LLMs可以复制人类二语数据中的母语依赖模式，展示了其在未来教育应用中进行二语对话生成和评估的潜力。

本研究提出FALCON方法，通过信息论指导参数选择，增强表示分离，解决大语言模型编码敏感信息的安全隐患。实验表明，FALCON在有效遗忘的同时保持模型实用性，展现出强大的知识恢复抵抗力。

本文探讨了意向性继承的形式化与量化，提出了一种信息论方法，通过分析属性集及其相互作用，推导出相关公式，揭示传统集合论的特殊性。研究表明，意向性继承能更准确地描述概念间的信息传递关系，帮助理解概念的内在联系。

本文提出了一种信息论特征来表征K-聚类的无歧义性，并设计了算法以显著提高重叠聚类的处理效果，优于常用算法。

本文提出了一种基于大型语言模型的生成聚类方法，通过KL散度定义相似性，并提出新颖的聚类算法。研究表明，该方法在聚类性能和文档检索准确性上显著提升。

本研究提出了一种基于信息论的统一视角，用于评估生成模型的输出。引入三维度评估指标，测量生成输出的真实度和多样性，以提供更清晰的分析和理解。

该研究解决了图像伪造定位中如何提取更全面、准确的伪造线索这一紧迫问题。提出的SUMI-IFL框架通过施加充分性视图和最小性视图约束，增强了伪造特征的表示能力。实验表明，SUMI-IFL在现有最先进的方法中表现优越，具备良好的应用前景。

本研究提出FSNID方法，解决网络入侵检测中特征质量不均的问题，通过信息论和神经网络去除无信息特征，处理时间依赖性，显著减少特征集。

本文提出了一种评估文本到图像生成模型的框架，涵盖图像质量和文本条件两部分。引入美学评分模型，自动检测低质量区域。研究探讨了概念覆盖和公平性，揭示了模型输出中的性别、种族和年龄偏见。该方法灵活，适用于其他图像生成，促进对生成模型的理解。

本研究提出了一种新颖的信息论泛化界限，利用条件 $f$-信息框架，克服了传统条件互信息的局限性。实验结果表明，该新界限在有界和无界损失函数下均优于以往基于互信息的界限。

本研究探讨语法特征的语义编码如何降低句子处理成本。研究发现，语法组织主要基于感知属性，但优先考虑功能目标，以提高语言处理效率。