该文综述了信息熵与互信息估计的多项研究，包括：基于再生核希尔伯特空间算子的非参数熵测度（避免估计概率分布）、数据高效的神经网络互信息估计法DEMINE及Meta-DEMINE、深度学习模型中熵与互信息的可计算建模、熵在信息提取中过拟合的作用及TIER-A框架、矩阵Renyi熵及CNN协同与冗余分析、用PCA解决高维微分熵估计、RecNet恢复受损音频流信息、MINE估计高维互信息、变分量子算法估计量子熵，以及用量子统计力学定义复杂网络熵度量。

该文综述Fisher信息矩阵（FIM）在深度神经网络中的研究：证明随机连接网络的FIM近似块对角，为自然梯度法提供依据并加速学习；揭示FIM特征值谱病态、尺度依赖；还涉及隐私约束下的数据处理不等式、基于FIM的不确定性学习、互信息估计及SO(3)分布估计等应用。

该文汇总多项KNN研究，包括改进KSG互信息估计、加权正则化KNN双支持向量机、自适应K值KNN分类器、低秩不定核分类、k近邻图去噪、知识增强推荐、随机邻域图聚类及信息修正KNN，均提升了准确度与效率。

本文综述了不确定性量化与鲁棒优化研究，涵盖：基于CVaR和卡方分布的鲁棒优化算法（效率较全样本法高9~36倍）、结合判别与生成方法的PQ互信息估计、多分布学习自适应采样、SVM-GSU最大间隔分类器、深度学习多变量不确定性量化用于卡尔曼滤波、经验似然分布鲁棒统计推断、高斯过程模型动力学学习、贝叶斯不确定性处理类别不平衡、分布鲁棒马尔可夫决策过程以及神经网络互信息估计。

本文介绍了一种基于分形的裂纹图形模拟器和裂纹数据集，通过互信息估计和自适应实例规范化来补充裂纹分割系统。实证研究证明该系统能有效处理现实世界的裂纹分割。