NVIDIA的Tensor Core专为加速矩阵运算而设计，TN布局在GEMM问题中表现最佳，优化了内存访问和缓存利用率，从而显著提升性能。大多数NVIDIA GPU架构仅支持TN布局的MMA指令。

现代计算机的性能瓶颈已转向内存访问，缓存无关算法在所有层级缓存上实现最优性能，无需了解缓存参数。通过递归分解问题，缓存无关算法自动适应缓存大小，适用于矩阵运算和优先队列等场景，尽管常数因子较大，但其理论价值在于揭示了不依赖硬件参数的通用最优策略。

本文介绍了Timeline诊断类型及其在性能分析中的重要性，通过示例代码展示矩阵运算，并使用dottrace工具采集线程活动和GC信息。总结指出，Timeline模式在某些场景下比其他工具更直观。

m2cgen是一个用于生成机器学习C语言推理代码的工具，将矩阵运算和tensor转换为C语言数组，并对代码进行优化。使用简单，只需训练模型，导出纯C语言函数形式的代码。

GPU的算力比CPU强大得多，原因在于GPU集成了更多的处理单元，可以高度并行化，一次可以执行成千上万个线程，实现超高的计算粒度和吞吐量。此外，GPU的处理单元更简单，主要针对高度并行的矩阵和向量运算优化，内存带宽也更高，专门为大规模矩阵运算和数据访问优化。因此，使用GPU做机器学习已成为标配，最早的论文是2012年Alex Krizhevsky、Ilya Sutskever和Geoffrey E. Hinton发表的《ImageNet Classification with Deep Convolutional Neural Networks》。

快速幂算法通过二分法将幂运算的复杂度从O(n)降低到O(log n)。该算法适用于整数和矩阵的快速幂运算，利用结合律实现高效计算。实现时需定义矩阵类并重载运算符，以支持矩阵乘法和快速幂运算。