本研究提出了一种新方法，通过“块”处理原理解释神经网络活动，发现嵌入状态能够识别输入概念的规律性块，为神经网络的解读提供了新的框架。

本研究提出了FlexTSF模型，旨在解决时间序列预测中的缺失值和不规则间隔问题。该模型通过VT-Norm、IVP Patcher和LED注意机制，超越了现有模型，表现优异，具有广泛的应用潜力。

我们使用基于Transformer的序列到序列模型，从单个解轨迹的不规则采样和嘈杂观测数据中恢复标量常微分方程（ODE）的符号形式。通过实证评估，证明我们的模型在各种环境下表现出更好或与现有方法相当的精确恢复能力。此外，我们的方法具有高效的可扩展性。

该研究提出了评估个体需求函数单调性的新指标，设计了带有六个梯度正则化器的约束优化框架，以提高深度神经网络的行为规律性。研究结果表明，梯度正则化器能显著提高深度神经网络的行为规律性，尤其在跨领域的泛化中更加有效。未来的研究可以将行为规律性与对数似然一起作为评估交通需求模型的指标，并探索其他方法来进一步提高复杂机器学习模型的行为规律性。

通过研究自注意力的局部李普希茨常数，本文在测度论框架下改进了先前的结果，从理论角度探讨了 Transformer 和多头注意力机制在神经网络的鲁棒性问题，并发现高局部李普希茨常数的测度通常由少数的狄拉克函数组成，且质量分布不均衡。此外，本文还分析了自注意力在改变令牌数的扰动下的稳定性，发现在某些输入情况下，复制令牌的攻击比仅移动令牌的攻击效果更好，称之为质量分裂现象。