1. 符号表示

假设有一批猫和非猫的图片，要判断是否是猫。假设图片都是彩色图片，尺寸为。

在训练的时候，将图片进行铺平展开，如下图所示：

用表示样本的个数，表示特征数，则：

2. sigmoid

对于二元分类的一个样本输入，令。即是一个概率值。

令，，则，其中为sigmoid函数，。

3. 损失函数

对于一个训练样本，定义其损失函数为：

则：

• 当时，，为了使 尽量小，需要 尽量大
• 当时，，为了使 尽量小，需要 尽量小

整体的损失函数为：

4. 单个样本的梯度下降

对于一个样本，令：

则：

因此：

5. 梯度下降

对于整体：

其中 为学习速率。

写成向量化的形式为：