1. Neural Network

• $a_i^{(j)}$：第 $j$ 层的第 $i$ 个单元
• ${\mathrm{\Theta }}^{(j)}$：第 $j$ 层到第 $j+1$ 层映射的权重矩阵

$$\begin{array}{}{a}_1^{(2)}=g({\mathrm{\Theta }}_{10}^{(1)}{x}_0+{\mathrm{\Theta }}_{11}^{(1)}{x}_1+{\mathrm{\Theta }}_{12}^{(1)}{x}_2+{\mathrm{\Theta }}_{13}^{(1)}{x}_3)\\ a_2^{(2)}=g({\mathrm{\Theta }}_{20}^{(1)}{x}_0+{\mathrm{\Theta }}_{21}^{(1)}{x}_1+{\mathrm{\Theta }}_{22}^{(1)}{x}_2+{\mathrm{\Theta }}_{23}^{(1)}{x}_3)\\ a_3^{(2)}=g({\mathrm{\Theta }}_{30}^{(1)}{x}_0+{\mathrm{\Theta }}_{31}^{(1)}{x}_1+{\mathrm{\Theta }}_{32}^{(1)}{x}_2+{\mathrm{\Theta }}_{33}^{(1)}{x}_3)\\ h_{\mathrm{\Theta }}(x)=a_1^{(3)}=g({\mathrm{\Theta }}_{10}^{(2)}{a}_0^{(2)}+{\mathrm{\Theta }}_{11}^{(2)}{a}_1^{(2)}+{\mathrm{\Theta }}_{12}^{(2)}{a}_2^{(2)}+{\mathrm{\Theta }}_{13}^{(2)}{a}_3^{(2)})\end{array}$$

假设第 $j$ 层单元数为 $s_j$（不包括偏置单元），第 $j+1$ 层单元数为 $s_{j+1}$，则 ${\mathrm{\Theta }}_j\in s_{j+1}\times (s_j+1)$。

2. Cost Function

• $L$：总层数
• $s_l$：第 $l$ 层的单元数（不包括偏置单元）
• $m$：样本个数
• $K$：输出单元数

$$J(\mathrm{\Theta })=-\frac{1}{m}\sum _{i=1}^m\sum _{k=1}^K[y_k^{(i)}log(h_{\mathrm{\Theta }}(x^{(i)}){)}_k+(1-y_k^{(i)})log(1-(h_{\mathrm{\Theta }}(x^{(i)}){)}_k)]+\frac{\lambda }{2m}\sum _{l=1}^{L-1}\sum _{i=1}^{s_l}\sum _{j=1}^{s_{l+1}}({\mathrm{\Theta }}_{ji}^{(l)}{)}^2$$

3. Backpropagation

假设只有一个样本 $(x,y)$ 的情况，神经网络如下：

在 forward propagation 阶段：

$$\begin{array}{}{a}^{(1)}=x\\ z^{(2)}={\mathrm{\Theta }}^{(1)}{a}^{(1)}\\ a^{(2)}=g(z^{(2)})(add{a}_0^{(2)})\\ z^{(3)}={\mathrm{\Theta }}^{(2)}{a}^{(2)}\\ a^{(3)}=g(z^{(3)})(add{a}_0^{(3)})\\ z^{(4)}={\mathrm{\Theta }}^{(3)}{a}^{(3)}\\ a^{(4)}=h_{\mathrm{\Theta }}(x)=g(z^{(4)})\end{array}$$

在 backpropagation 阶段，令 ${\delta }_j^{(l)}$ 表示第 $l$ 层第 $j$ 个节点的误差，则：

$$\begin{array}{}{\delta }^{(4)}=a^{(4)}-y\\ {\delta }^{(3)}=({\mathrm{\Theta }}^{(3)}{)}^T{\delta }^{(4)}.\ast g^{\prime }(z^{(3)})\\ {\delta }^{(2)}=({\mathrm{\Theta }}^{(2)}{)}^T{\delta }^{(3)}.\ast g^{\prime }(z^{(2)})\\ No{\delta }^{(1)}\end{array}$$

其中 $g^{\prime }(z^{(l)})=a^{(l)}(1-a^{(l)})$ （sigmoid函数求导）。

推导过程

对于隐藏层：

$${\delta }_i^{(l)}=\frac{\partial J}{\partial z_i^{(l)}}=\frac{\partial J}{\partial a_i^{(l)}}\frac{\partial a_i^{(l)}}{\partial z_i^{(l)}}$$

其中：

$$\begin{array}{}\frac{\partial J}{\partial a_i^{(l)}}& =\frac{\partial J}{\partial z_1^{(l+1)}}\frac{\partial z_1^{(l+1)}}{\partial a_i^{(l)}}+\frac{\partial J}{\partial z_2^{(l+1)}}\frac{\partial z_2^{(l+1)}}{\partial a_i^{(l)}}+...+\frac{\partial J}{\partial z_{s_{l+1}}^{(l+1)}}\frac{\partial z_{s_{l+1}}^{(l+1)}}{\partial a_i^{(l)}}\\ & =\sum _{j=1}^{s_{l+1}}\frac{\partial J}{\partial z_j^{(l+1)}}\frac{\partial z_j^{(l+1)}}{\partial a_i^{(l)}}\\ & =\sum _{j=1}^{s_{l+1}}\frac{\partial J}{\partial z_j^{(l+1)}}{\mathrm{\Theta }}_{ji}^{(l)}\\ & =\sum _{j=1}^{s_{l+1}}{\delta }_j^{(l+1)}{\mathrm{\Theta }}_{ji}^{(l)}\\ \frac{\partial a_i^{(l)}}{\partial z_i^{(l)}}& =a_i^{(l)}(1-a_i^{(l)})\end{array}$$

因此：

$${\delta }_i^{(l)}=(\sum _{j=1}^{s_{l+1}}{\delta }_j^{(l+1)}{\mathrm{\Theta }}_{ji}^{(l)})a_i^{(l)}(1-a_i^{(l)})$$

所以：

$${\delta }^{(l)}=({\mathrm{\Theta }}^{(l)}{)}^T{\delta }^{(l+1)}.\ast a^{(l)}.\ast (1-a^{(l)})$$

有了上面的推导之后，可以得到：

$$\frac{\partial }{\partial {\mathrm{\Theta }}_{ij}^{(l)}}J(\mathrm{\Theta })=\frac{\partial J(\mathrm{\Theta })}{\partial z_i^{(l+1)}}\frac{\partial z_i^{(l+1)}}{\partial {\mathrm{\Theta }}_{ij}^{(l)}}={\delta }_i^{(l+1)}{a}_j^{(l)}$$

4. 直观理解

在 forward propagation 阶段：

$$a_1^{(3)}=g({\mathrm{\Theta }}_{11}^{(2)}{a}_1^{(2)}+{\mathrm{\Theta }}_{12}^{(2)}{a}_2^{(2)})$$

在 backpropagation 阶段:

$${\delta }_1^{(2)}={\mathrm{\Theta }}_{11}^{(2)}{\delta }_1^{(3)}+{\mathrm{\Theta }}_{21}^{(2)}{\delta }_2^{(3)}$$

TIP

这里只是一个直观的解释，因此并未考虑偏置单元 $a_0^{(2)}$ 以及 $\frac{\partial a_1^{(2)}}{\partial z_1^{(2)}}$。