1. Neural Network

• ：第 层的第 个单元
• ：第 层到第 层映射的权重矩阵

假设第 层单元数为 （不包括偏置单元），第 层单元数为 ，则 。

2. Cost Function

• ：总层数
• ：第 层的单元数（不包括偏置单元）
• ：样本个数
• ：输出单元数

3. Backpropagation

假设只有一个样本 的情况，神经网络如下：

在 forward propagation 阶段：

在 backpropagation 阶段，令 表示第 层第 个节点的误差，则：

其中 （sigmoid函数求导）。

推导过程

对于隐藏层：

其中：

因此：

所以：

有了上面的推导之后，可以得到：

4. 直观理解

在 forward propagation 阶段：

在 backpropagation 阶段:

TIP

这里只是一个直观的解释，因此并未考虑偏置单元 以及 。