在未开启优化标志时,np.einsum的速度明显慢于np.matmul,尤其在矩阵乘法中。开启优化后,np.einsum的速度显著提升,接近np.matmul,原因是优化时调用了tensordot,利用了BLAS加速。
文章介绍深度学习常用库,包括Python自带的itertools、functools、collections,深度学习库timm、einops,以及torch的einsum用法。
本文综述张量网络在神经网络中的应用,主要包括:从张量网络视角研究卷积性质与表达能力;以张量收缩层和回归层替代全连接层以减少参数;提出Einsum网络实现概率电路;利用张量网络压缩算法将VGG-16卷积层压缩至632个参数并提升准确率;改进张量网络收缩顺序搜索算法;将CNN参数化为高阶低秩张量;加速卷积层测试;分析CNN架构的表达效率;用求和乘积网络近似矩阵乘法;以矩阵积算子替代线性变换以减少参数。
很多复杂的矩阵计算可以使用 einsum 来表示,方便 PoC,性能也还过得去。 Einstein n
完成下面两步后,将自动完成登录并继续当前操作。