卷积优化

gemm优化（CPU）基于算法分析的方法通过展开循环，尽量减少访存指令占比对于支持SIMD的平台，进行向量化的支持优化内存布局，减少cache miss QNNPACK 卷积优化（CPU）im2col 内存布局的影响空间组合优化算法 Winograd算法 1D 2D 计算量的讨论工程实现误差来源间接卷积优化算法 SGEMM优化（GPU)global memory → shared memory shared memory → register register分块数据的prefetch 针对cache的优化？

gemm优化（CPU）

Peripateticism

Yuens’ blog

http://yuenshome.space/timeline/2018-12/optimize-cpu-gemm/

通用矩阵乘（GEMM）优化算法

本文简要介绍通用矩阵乘（General Matrix Multiplication）优化的基本概念和方法、神经网络量化中的优化方法。旨在帮助大家在概念中建立一些直觉，无甚高论。

https://zhenhuaw.me/blog/2019/gemm-optimization.html

基于算法分析的方法

Strassen 算法

Coppersmith–Winograd 算法

为什么不用呢？

通过展开循环，尽量减少访存指令占比

naive version:


for (int m = 0; m < M; m++) {
  for (int n = 0; n < N; n++) {
    C[m][n] = 0;
    for (int k = 0; k < K; k++) {
      C[m][n] += A[m][k] * B[k][n];
    }
  }
}

访存数: 4MNK，但编译器可能优化到2MNK?

version1:


for (int m = 0; m < M; m++) {
  for (int n = 0; n < N; n += 4) {
    C[m][n + 0] = 0;
    C[m][n + 1] = 0;
    C[m][n + 2] = 0;
    C[m][n + 3] = 0;
    for (int k = 0; k < K; k++) {
      C[m][n + 0] += A[m][k] * B[k][n + 0];
      C[m][n + 1] += A[m][k] * B[k][n + 1];
      C[m][n + 2] += A[m][k] * B[k][n + 2];
      C[m][n + 3] += A[m][k] * B[k][n + 3];
    }
  }
}

访存数：（8+1+4)/4 MNK = 13/4 MNK（寄存器数量够的话，编译器可能优化到5/4 MNK？）

version2:


for (int m = 0; m < M; m += 4) {
  for (int n = 0; n < N; n += 4) {
    C[m + 0][n + 0..3] = 0;
    C[m + 1][n + 0..3] = 0;
    C[m + 2][n + 0..3] = 0;
    C[m + 3][n + 0..3] = 0;
    for (int k = 0; k < K; k++) {
      C[m + 0][n + 0..3] += A[m + 0][k] * B[k][n + 0..3];
      C[m + 1][n + 0..3] += A[m + 1][k] * B[k][n + 0..3];
      C[m + 2][n + 0..3] += A[m + 2][k] * B[k][n + 0..3];
      C[m + 3][n + 0..3] += A[m + 3][k] * B[k][n + 0..3];
    }
  }
}

访存数：(16*2 + 4 + 4) / 16MNK = 5/2 MMN, 编译器优化后可达：1/2MNK

version3:


for (int m = 0; m < M; m += 4) {
  for (int n = 0; n < N; n += 4) {
    C[m + 0..3][n + 0..3] = 0;
    C[m + 0..3][n + 0..3] = 0;
    C[m + 0..3][n + 0..3] = 0;
    C[m + 0..3][n + 0..3] = 0;
    for (int k = 0; k < K; k += 4) {
      C[m + 0..3][n + 0..3] += A[m + 0..3][k + 0] * B[k + 0][n + 0..3];
      C[m + 0..3][n + 0..3] += A[m + 0..3][k + 1] * B[k + 1][n + 0..3];
      C[m + 0..3][n + 0..3] += A[m + 0..3][k + 2] * B[k + 2][n + 0..3];
      C[m + 0..3][n + 0..3] += A[m + 0..3][k + 3] * B[k + 3][n + 0..3];
    }
  }
}

访存数：(16*2 + 16 + 16) / 64MNK = 1 MNK, 编译器优化后可达：1/2MNK

如果存在编译器优化的情况下，这一维度的展开还会带来perf 提升吗？