BriefGPT - AI 论文速递
·
利用四元数激活函数改进四元数神经网络
💡
原文中文，约400字，阅读约需1分钟。
📝
内容提要
研究人员提出了一种新颖的四元数激活函数，通过修改四元数的幅度或相位来替代常用的分裂激活函数。实验结果表明，影响相位的四元数激活函数在CIFAR-10和SVHN数据集上始终提供更好的性能。
🎯
关键要点
- 研究人员提出了一种新颖的四元数激活函数，修改了四元数的幅度或相位。
- 该激活函数作为常用分裂激活函数的替代品。
- 定义了与四元数激活函数相关的准则，并基于分析提出了新激活函数。
- 新激活函数考虑了四元数的特性和四元数空间 H。
- 通过利用四元数的所有分量计算输出分量，获得了四元数卷积中的 Hamilton 乘积的优势。
- 讨论了所提出的激活函数的导数，发现相位影响的激活函数具有有益的属性。
- 对四元数激活函数进行了详细的实验评估，并与分裂 ReLU 和分裂双曲正切的方法进行了比较。
- 实验结果表明，影响相位的四元数激活函数在 CIFAR-10 和 SVHN 数据集上提供了更好的性能。
➡️
