图解卷积神经网络中二维与三维图像卷积操作

经查阅大量资料及手动公式推导，对卷积神经网络中二维与三维图像卷积操作进行图解及公式表示。

注：在数学中，两个矩阵进行卷积操作，卷积核是要翻卷的，如下面动图所示。

在深度学习中，卷积核不需要翻卷。

二维图像卷积操作

对于大小为$ h \times w$图像$I$和 大小为$(k_1 \times k_2)$ 卷积核 $K$，定义其Cross-correlation：

$${(I \otimes K)_{i，j}} = \sum\limits_{m = 0}^{k_1-1}\sum\limits_{n = 0}^{k_2-1}{I(i + m,j + n)}K(m,n)$$

其中

$0 \leqslant i \leqslant h - {k_1}$，$ 0\leqslant j \leqslant h - {k_2}$
注意：这里的使用的符号和ii的范围，不考虑Padding及Stride = 1 的情况。

用上图举例：

图中图像大小为：$h \times w = 5 \times 5$，卷积核尺寸为：$k_1 \times k_2 = 3 \times 3$
则 $i, j$ 的定义域为
$0 \leqslant i \leqslant h - {k_1}$ —> $0 \leqslant i \leqslant 2$，$0 \leqslant j \leqslant h - {k_2}$ —> $0 \leqslant i \leqslant 2$

则图像中$(0,0)$处卷积后的结果为：

$$\begin {aligned} {(I \otimes K)_{0,0}} &= \sum\limits_{m = 0}^{k_1-1}{\sum\limits_{n = 0}^{k_2-1}{I(i + m,j + n)} }K(m,n)\\ &= \sum\limits_{m = 0}^{2}\sum\limits_{n = 0}^{2}{I(0 + m,0 + n)}K(m,n)\\ &=1\times1+1\times1+1\times1+1\times1\\ &=4 \end {aligned}$$

三维图像卷积操作

对于大小为 $h \times w \times d$ 图像 $I$ 和大小为 $(k_1 \times k_2 \times d)$ 卷积核 $K$，定义其Cross-correlation：

$${(I \otimes K)_{i,j}} =\sum\limits_{l = 1}^{d}\sum\limits_{m = 0}^{k_1-1}\sum\limits_{n = 0}^{k_2-1}{I_l(i + m,j + n)}K_l(m,n)+b$$

其中

$0 \leqslant i \leqslant h - {k_1} + 2p$
$0 \leqslant j \leqslant h - {k_2} + 2p$

用上图举例：

图中图像大小为：$h \times w \times d = 5 \times 5 \times 3$，Padding后的图像大小为：$h \times w \times d = 7 \times 7 \times 3$
卷积核尺寸为：$k_1 \times k_2 \times d= 3 \times 3\times 3$，偏差 $b=1$
则 $i, j$ 的定义域为
$1 \leqslant i \leqslant h - {k_1} + 2p$ —> $1 \leqslant i \leqslant 4$，$1 \leqslant j \leqslant h - {k_2} + 2p$ —> $1 \leqslant i \leqslant 4$

则图像中$(0,0)$处卷积后的结果为：

$$\begin {aligned} {(I \otimes K)_{0,0}} &=\sum\limits_{l = 1}^{d}\sum\limits_{m = 0}^{k_1-1}\sum\limits_{n = 0}^{k_2-1}{I_l(i + m,j + n)}K_l(m,n)+b\\ &= \sum\limits_{l = 1}^{3}\sum\limits_{m = 0}^{2}\sum\limits_{n = 0}^{2}{I_l(0 + m,0 + n)}K_l(m,n)+1\\ &=2\times1+2\times(-1)+2\times(-1)+2\times(-1)+1\\ &=3 \end {aligned}$$