【博客转载】Row-Major VS Column-Major

正文

请到「今天看啥」查看全文

的列是缓慢的且会使缓存失效。

矩阵乘法

在内存中存储矩阵的方式会影响许多处理器（如CPU和GPU）上矩阵乘法的性能。通常，根据矩阵乘法是否需要对矩阵进行数学转置，有四种计算矩阵乘法的方式： 、 、 和 。尽管这些操作的理论MAC数相同，但根据矩阵 和 的存储顺序，每种方式的性能表现会有所不同。

假设矩阵 的形状为 ，矩阵 的形状为 ，要计算 ，其中 是形状为 的矩阵， 中的每个元素都是矩阵 中大小为 的一行与矩阵 中大小为 的一列的累积和。

根据两个矩阵的存储顺序，有四种情况：

矩阵 存储顺序	矩阵 存储顺序	矩阵 行读取	矩阵 列读取
列主序	列主序	慢	快
列主序	行主序	慢	慢
行主序	列主序	快	快
行主序	行主序	快	慢

当 以行主序存储， 以列主序存储时，由于现代处理器的缓存机制，从 读取行和从 读取列都很快，而更快的读取会带来更好的性能（在相同的计算量下）。

因此，矩阵乘法 更适合 以行主序存储、 以列主序存储的情况。

假设矩阵 的形状为 ，矩阵 的形状为 ，要计算 ，其中 是形状为

请到「今天看啥」查看全文