🌵1. Neural Network
- ：第 层的第 个单元
- ：第 层到第 层映射的权重矩阵
假设第 层单元数为 （不包括偏置单元），第 层单元数为 ，则 。
2. Cost Function
- ：总层数
- ：第 层的单元数（不包括偏置单元）
- ：样本个数
- ：输出单元数
3. Backpropagation
假设只有一个样本 的情况，神经网络如下：
在 forward propagation 阶段：
在 backpropagation 阶段，令 表示第 层第 个节点的误差，则：
其中 （sigmoid函数求导）。
推导过程
对于隐藏层：
其中：
因此：
所以：
有了上面的推导之后，可以得到：
4. 直观理解
在 forward propagation 阶段：
在 backpropagation 阶段:
TIP
这里只是一个直观的解释，因此并未考虑偏置单元 以及 。