from grad to tensor
内容提要
本文讨论了PyTorch中张量的存储结构，包括元数据区和存储区。张量的形状、步长和数据类型等信息存储在元数据区，实际数据则存储为连续数组。文章介绍了stride的概念及其在数据访问中的作用，以及如何通过reshape和view等操作影响张量的形状和存储。最后提到PyTorch的自动微分引擎及其在反向传播中的应用。
延伸解读
视图操作与内存共享的陷阱
文章指出，t()、transpose、view等操作返回的是视图，与原始张量共享底层存储，但可能改变步长。这意味着修改视图会影响原始数据，且后续操作可能因步长不兼容而报错。例如，转置后调用view可能失败，因为步长与形状不匹配。建议在不确定时使用reshape，它会在形状兼容时返回视图，否则复制数据，避免意外错误。
广播机制的高效与梯度累积
广播允许不同形状的张量进行运算，且不复制数据，因此没有内存或性能开销。但文章提醒，由于小张量中的元素被重复使用，梯度会沿广播维度累积。这在调试梯度或自定义自动微分函数时需特别注意，避免因梯度累积导致错误。
从标量视角理解自动微分
PyTorch的自动微分引擎通过回调函数构建计算图，反向传播时更新梯度。文章建议从标量运算的角度理解高维张量操作，例如矩阵乘法可视为一系列标量乘加。这样，reshape、transpose等操作对梯度的影响就等同于对张量本身的影响，有助于直观把握梯度传播。
Q&A
PyTorch中的张量是如何存储的？
PyTorch中的张量分为元数据区和存储区，元数据区保存形状、步长和数据类型等信息，而实际数据则存储为连续数组在存储区。
什么是张量的步长（stride），它有什么作用？
步长（stride）定义了在指定维度上从一个元素到下一个元素的间隔，影响数据的访问方式。
如何通过reshape和view操作改变张量的形状？
通过reshape和view等操作可以改变张量的形状和存储方式，但并不一定改变底层存储的数据。
PyTorch的自动微分引擎是如何工作的？
PyTorch的自动微分引擎通过回调函数构建计算图，支持反向传播和梯度更新。
什么是张量的广播机制，它有什么优势？
广播机制允许不同形状的张量进行运算，且不会产生内存或性能开销，能够有效地进行梯度累积。
在PyTorch中，如何处理张量的视图和存储数据的关系？
某些操作如view会返回数据相同的视图，但不改变底层存储的数据，stride可能会改变以适应新的形状。
