🌵1. 前向传播
如上图，左边为一个简单的神经网络结构，右边为每一个神经单元的计算过程。
对于一个样本：
其中：
一般来说，令：
- 表示神经网络层数（不包含输入层），输入层看作是第0层
- 表示第 层的节点数量
- 表示第 层的激活函数
则对于多个样本向量化：
2. 激活函数
- 不同的层可以使用不同的激活函数
- 激活函数是非线性的
常用的激活函数有：
它们的导数分别为：
3. 反向传播
在前向传播过程中，针对每一层，输入为 ，输出为 ：
在反向传播过程中，针对每一层，输入为 ，输出为 ，，：
4. 参数初始化
在逻辑回归中，参数 和 可以都初始化为0，但是在神经网络中，如果这样做的话，则每一层所有的神经单元都是在做着同样的计算。因此需要进行随机初始化。
初始化的参数值通常会很小。如果比较大，在使用了sigmoid或者tanh激活函数的时候，计算值就容易落到函数值较大的区域，从而梯度很小，导致反向传播过程进行的很慢。
5. 参数和超参数
参数：
超参数：
- 学习速率
- 梯度下降迭代次数
- 神经网络层数
- 每一层的节点数
- 激活函数类型
- ……
超参数决定了最终训练好的参数 和 的值，即超参数是控制参数的参数。