本研究提出SECURA微调方法，旨在解决大语言模型的高计算需求和灾难性遗忘问题。通过引入SigNorm技术，显著提升了微调性能和知识保持能力。

本文研究了一层隐藏层的神经网络及其修正激活函数，用于解决物理问题。提出了一种修正的 sigmoid 激活函数，并展示了物理信息驱动的数据初始化算法及逐神经元的无梯度拟合方法。数值实验表明，具有修正 sigmoid 函数的神经网络在解决物理问题的准确性上优于传统的 sigmoid 函数神经网络。

文章介绍了几种常用的激活函数及其优缺点。Tanh和Softsign将输入转换为-1到1，Sigmoid转换为0到1，Softmax用于多分类，输出总和为1。这些函数有助于归一化和稳定收敛，但可能导致梯度消失和计算复杂。PyTorch中有这些函数的实现。

本研究解决了模糊一般灰色认知图（FGGCM）收敛性未被充分探讨的研究空白。通过对一般灰色数空间的度量和完整性分析，提出使用tanh和sigmoid激活函数时FGGCM收敛到唯一固定点的充分条件。这一发现对FGGCM的学习算法设计具有指导意义，为其在控制、预测和决策支持等领域的应用奠定了理论基础。

研究了Leaky ResNets，它在ResNets和全连接网络之间进行内插，通过一个超参数来决定。在无限深度极限下，研究了表示空间中的连续路径，最小化网络的参数范数。通过平衡动能和势能，提供了对ResNets中特征学习的直观理解。使用自适应层步长进行训练，以适应时间尺度的分离。

本文提出了一种新的激活函数——稀疏最大函数，能够输出稀疏概率，并给出了其特性及雅可比矩阵的高效计算方法。同时，提出了一个新的平滑且凸函数作为逻辑损失的稀疏最大函数的对应，并发现它与 Huber 分类损失之间的联系。实验结果表明，在多标签分类和自然语言推断的基于注意力机制的神经网络中，采用稀疏最大函数可以获得类似的性能，但具有更精细、更紧凑的注意力焦点。

/** * @Author 。。。源 * @Email apple_dzy@163.com * @Blog https://www.findmyfun.cn * ...