DeepLearning笔记(1)—

1. 符号表示

假设有一批猫和非猫的图片，要判断是否是猫。假设图片都是彩色图片，尺寸为 $64 \times 64$ 。

在训练的时候，将图片进行铺平展开，如下图所示：

用 $m$ 表示样本的个数， $n_{x}$ 表示特征数，则：

\begin{matrix} n_{x} = 64 \times 64 \times 3 = 12288 \\ x \in R^{n_{x}} \\ y \in {0, 1} \\ X = [\begin{matrix} ∣ & ∣ \\ x^{(1)} & \dots & x^{(m)} \\ ∣ & ∣ \end{matrix}] \in R^{n_{x} \times m} \\ Y = [\begin{matrix} y^{(1)} \dots y^{(m)} \end{matrix}] \in R^{1 \times m} \end{matrix}

对于二元分类的一个样本输入 $(x, y)$ ，令 $\hat{y} = P (y = 1 ∣ x)$ 。即 $\hat{y}$ 是一个概率值。

令 $w \in R^{n_{x}}$ ， $b \in R$ ，则 $\hat{y} = σ (w^{T} x + b)$ ，其中 $σ$ 为sigmoid函数， $σ (z) = \frac{1}{1 + e^{- z}}$ 。

对于一个训练样本，定义其损失函数为：

L (\hat{y}, y) = - (y \log \hat{y} + (1 - y) \log (1 - \hat{y}))

则：

当 $y = 1$ 时， $L (\hat{y}, y) = - \log \hat{y}$ ，为了使 $L (\hat{y}, y)$ 尽量小，需要 $\hat{y}$ 尽量大
当 $y = 0$ 时， $L (\hat{y}, y) = - \log (1 - \hat{y})$ ，为了使 $L (\hat{y}, y)$ 尽量小，需要 $\hat{y}$ 尽量小

整体的损失函数为：

J (w, b) = \frac{1}{m} \sum_{i = 1}^{m} L ({\hat{y}}^{(i)}, y^{(i)}) = - \frac{1}{m} \sum_{i = 1}^{m} [y^{(i)} \log {\hat{y}}^{(i)} + (1 - y^{(i)}) \log (1 - {\hat{y}}^{(i)})]

对于一个样本，令：

\begin{matrix} z = w^{T} x + b \\ a = \hat{y} = σ (z) = \frac{1}{1 + e^{- z}} \\ L (a, y) = L (\hat{y}, y) = - (y \log a + (1 - y) \log (1 - a)) \end{matrix}

则：

\begin{matrix} \frac{d L (a, y)}{d a} = - \frac{y}{a} + \frac{1 - y}{1 - a} \\ \frac{d a}{d z} = \frac{e^{- z}}{(1 + e^{- z})^{2}} = a (1 - a) \\ \frac{d z}{d w_{j}} = x_{j} \\ \frac{d z}{d b} = 1 \end{matrix}

因此：

\begin{matrix} \frac{\partial L}{\partial w_{j}} = \frac{d L}{d a} \frac{d a}{d z} \frac{d z}{d w_{j}} = (a - y) x_{j} \\ \frac{\partial L}{\partial b} = \frac{d L}{d a} \frac{d a}{d z} \frac{d z}{d b} = a - y \end{matrix}

对于整体：

\begin{matrix} \frac{\partial}{\partial w_{j}} J (w, b) = \frac{1}{m} \sum_{i = 1}^{m} \frac{\partial}{\partial w_{j}} L (a^{(i)}, y^{(i)}) \\ \frac{\partial}{\partial b} J (w, b) = \frac{1}{m} \sum_{i = 1}^{m} \frac{\partial}{\partial b} L (a^{(i)}, y^{(i)}) \\ w_{j} := w_{j} - α \frac{\partial}{\partial w_{j}} J (w, b) \\ b := b - α \frac{\partial}{\partial b} J (w, b) \end{matrix}

其中 $α$ 为学习速率。

写成向量化的形式为：

\begin{matrix} Z = w^{T} X + b \\ A = σ (Z) = σ (w^{T} X + b) \\ d Z = A - Y \\ d w = \frac{1}{m} X d Z^{T} = \frac{1}{m} X (A - Y)^{T} \\ d b = \frac{1}{m} sum (d Z) = \frac{1}{m} sum (A - Y) \\ w := w - α d w \\ b := b - α d b \end{matrix}