🌵1. Sigmoid
线性回归针对的是连续值，逻辑回归则是针对离散的分类问题。如图所示：
需要注意的是，虽然绘图是在二维平面内，但是数据其实是有三个维度：， 和 。假设：
则：
令：
如图：
则：
2. Cost Function
令：
图像如下：
- 时
- 若 ，则
- 若 ，则
- 时
- 若 ，则
- 若 ，则
将以上两种情况统一起来，可以得到：
令：
运行梯度下降，即对于 ：
在只有一个样本的情况下：
TIP
对于 Sigmoid 函数：
由于：
因此：
因此对于 ：
与线性回归的形式是一致的。
3. 多类分类
假如一共有 类，如果求某个样本属于第 类的可能性，则将 类作为是 ，其它 类作为是 。因此：
对于一个样本 ，选取最大的 ，则该样本属于第 类。