给 NdArray 装上 CUDA 的轮子
内容提要
Ndarry是Rust编程语言中的高性能多维、多类型数组库，类似numpy。作者使用cublas库实现了在CUDA上运行的矩阵乘法函数，并通过FFI连接到Rust中。作者还实现了一个trait来给NdArray数组添加cuda_dot方法，实现了1D和2D矩阵之间的点乘。cublas在高维度矩阵乘法场景下展现出巨大优势。
关键要点
-
Ndarry是Rust中的高性能多维、多类型数组库，类似numpy。
-
作者使用cublas库实现了在CUDA上运行的矩阵乘法函数，并通过FFI连接到Rust中。
-
Ndarry库的实现受到Karpathy的llm.c项目的启发，旨在提高高维矩阵乘法的性能。
-
cublas库是NVIDIA提供的用于GPU上执行基本线性代数操作的软件库，优化了高性能科学计算。
-
使用cublas库的好处是简化了数据下标计算，尽管性能不如CuBlasLT。
-
在Rust中调用CUDA的步骤包括使用bindgen_cuda库将.cu文件编译成静态库。
-
cublasSgemm函数用于执行矩阵乘法，涉及多个参数的设置。
-
作者实现了一个trait来给NdArray数组添加cuda_dot方法，支持1D和2D矩阵之间的点乘。
-
trait特性使得Rust代码更模块化、灵活且易于维护。
-
性能测试显示，在低维度情况下，NdArray-linalg性能优于cuda_dot，但在高维度情况下，cuda_dot表现出明显优势。
延伸问答
NdArray是什么？
NdArray是Rust编程语言中的高性能多维、多类型数组库，类似于Python的numpy。
如何在Rust中使用CUDA进行矩阵乘法？
在Rust中使用CUDA进行矩阵乘法需要使用bindgen_cuda库将.cu文件编译成静态库，并通过FFI连接到Rust中。
cublas库的优势是什么？
cublas库优化了在GPU上执行基本线性代数操作，简化了数据下标计算，适合高性能科学计算。
cuda_dot方法支持哪些矩阵操作？
cuda_dot方法支持1D和2D矩阵之间的点乘操作。
在高维度情况下，cuda_dot的性能如何？
在高维度情况下，cuda_dot的性能明显优于NdArray-linalg库提供的dot方法。
如何实现NdArray的cuda_dot方法？
通过定义一个trait来实现NdArray的cuda_dot方法，支持1D和2D矩阵的点乘。
