1. 前向传播

如上图，左边为一个简单的神经网络结构，右边为每一个神经单元的计算过程。

对于一个样本：

$$\begin{array}{}{a}^{[0]}=x\\ z^{[1]}=W^{[1]}{a}^{[0]}+b^{[1]}\\ a^{[1]}=\sigma (z^{[1]})\\ z^{[2]}=W^{[2]}{a}^{[1]}+b^{[2]}\\ a^{[2]}=\sigma (z^{[2]})\end{array}$$

其中：

$$\begin{array}{}{W}^{[1]}\in {\mathbb{R}}^{4\times 3}\\ b^{[1]}\in {\mathbb{R}}^{4\times 1}\\ W^{[2]}\in {\mathbb{R}}^{1\times 4}\\ b^{[2]}\in {\mathbb{R}}^{1\times 1}\end{array}$$

一般来说，令：

• $L$ 表示神经网络层数（不包含输入层），输入层看作是第0层
• $n^{[l]}$ 表示第 $l$ 层的节点数量
• $g^{[l]}$ 表示第 $l$ 层的激活函数

则对于多个样本向量化：

$$\begin{array}{}X\in {\mathbb{R}}^{n^{[0]}\times m}\\ W^{[l]}\in {\mathbb{R}}^{n^{[l]}\times n^{[l-1]}}\\ b^{[l]}\in {\mathbb{R}}^{n^{[l]}\times 1}\\ A^{[0]}=X\\ Z^{[l]}=W^{[l]}{A}^{[l-1]}+b^{[l]}\\ A^{[l]}=g^{[l]}(Z^{[l]})\end{array}$$

2. 激活函数

• 不同的层可以使用不同的激活函数
• 激活函数是非线性的

常用的激活函数有：

$$\begin{array}{}\text{sigmoid}:& a=g(z)=\frac{1}{1+e^{-z}}\\ \text{tanh}:& a=g(z)=\frac{e^z-e^{-z}}{e^z+e^{-z}}\\ \text{ReLU}:& a=g(z)=\text{max}(0,z)\\ \text{leaky ReLU}:& a=g(z)=\text{max}(0.01z,z)\end{array}$$

它们的导数分别为：

$$\begin{array}{}\text{sigmoid}:& g^{\prime }(z)=a(1-a)\\ \text{tanh}:& g^{\prime }(z)=1-a^2\\ \text{ReLU}:& g^{\prime }(z)=\{\begin{array}{ll}0,& \text{if}z<0\\ 1,& \text{if}z>0\end{array}\\ \text{leaky ReLU}:& g^{\prime }(z)=\{\begin{array}{ll}0.01,& \text{if}z<0\\ 1,& \text{if}z>0\end{array}\end{array}$$

3. 反向传播

在前向传播过程中，针对每一层，输入为 $A^{[l-1]}$，输出为 $A^{[l]}$：

$$\begin{array}{}{Z}^{[l]}=W^{[l]}{A}^{[l-1]}+b^{[l]}\\ A^{[l]}=g^{[l]}(Z^{[l]})\end{array}$$

在反向传播过程中，针对每一层，输入为 $\text{d}{A}^{[l]}$，输出为 $\text{d}{A}^{[l-1]}$，$\text{d}{W}^{[l]}$，$\text{d}{b}^{[l]}$：

$$\begin{array}{}\text{d}{Z}^{[l]}=\text{d}{A}^{[l]}\ast g^{[l]}{}^{\prime }(Z^{[l]})\\ d{W}^{[l]}=\frac{1}{m}d{Z}^{[l]}{A}^{[l-1]T}\\ d{b}^{[l]}=\frac{1}{m}\sum _{i=1}^{m}d{Z}^{[l](i)}\\ d{A}^{[l-1]}=W^{[l]T}d{Z}^{[l]}\end{array}$$

4. 参数初始化

在逻辑回归中，参数 $w$ 和 $b$ 可以都初始化为0，但是在神经网络中，如果这样做的话，则每一层所有的神经单元都是在做着同样的计算。因此需要进行随机初始化。

初始化的参数值通常会很小。如果比较大，在使用了sigmoid或者tanh激活函数的时候，计算值就容易落到函数值较大的区域，从而梯度很小，导致反向传播过程进行的很慢。

5. 参数和超参数

参数：

• $W$
• $b$

超参数：

• 学习速率 $\alpha$
• 梯度下降迭代次数 $\text{iterations}$
• 神经网络层数 $L$
• 每一层的节点数 $n^{[l]}$
• 激活函数类型 $g(z)$
• ……

超参数决定了最终训练好的参数 $W$ 和 $b$ 的值，即超参数是控制参数的参数。