1. 优化目标

SVM 即支持向量机（Support Vector Machines），是一种大间距分类算法。

回顾在逻辑回归中，一个样本的损失函数为：

$$Cost(h_{\theta }(x),y)=-ylog(h_{\theta }(x))-(1-y)log(1-h_{\theta }(x))$$

即：

$$Cost(x,y)=-ylog\frac{1}{1+e^{-{\theta }^{T}x}}-(1-y)log(1-\frac{1}{1+e^{-{\theta }^{T}x}})$$

• 当 $y=1$ 时：$Cost(x,y)=-log\frac{1}{1+e^{-{\theta }^{T}x}}$
• 当 $y=0$ 时：$Cost(x,y)=-log(1-\frac{1}{1+e^{-{\theta }^{T}x}})$

函数图像如下：

回顾在逻辑回归中：

• 当 $y=1$ 时，需要 ${\theta }^{T}x\ge 0$
• 当 $y=0$ 时，需要 ${\theta }^{T}x<0$

现在我们用另一个图像来近似拟合上面的损失函数，来得到一个更加严格的约束：

因此：

• 当 $y=1$ 时，需要 ${\theta }^{T}x\ge 1$
• 当 $y=0$ 时，需要 ${\theta }^{T}x\le -1$

我们记 $y=1$ 的损失函数为 $cos{t}_1$，记 $y=0$ 的损失函数为 $cos{t}_0$。令 SVM 的优化目标为：

$$\underset{\theta }{min}C\sum _{i=1}^m[y^{(i)}cos{t}_1({\theta }^T{x}^{(i)})+(1-y^{(i)})cos{t}_0({\theta }^T{x}^{(i)})]+\frac{1}{2}\sum _{j=1}^n{\theta }_j^2$$

假设将 $C$ 设置的比较大，那么我们希望：

$$\sum _{i=1}^m[y^{(i)}cos{t}_1({\theta }^T{x}^{(i)})+(1-y^{(i)})cos{t}_0({\theta }^T{x}^{(i)})]=0$$

因此我们的优化目标为：

$$\underset{\theta }{min}\frac{1}{2}\sum _{j=1}^n{\theta }_j^2$$

2. 大间距分类

SVM 能够很好地进行大间距分类。如图：

图中，三条线都能够将两类分开，但是很明显，实线比另外两条虚线划分的更好。因为两个类别的样本到实线的距离相对较大，而到虚线的距离相对较小，因此容易误判。

在数学上，两个向量点乘：

$$\overrightarrow{u}\cdot \overrightarrow{v}={\overrightarrow{u}}^T\overrightarrow{v}=p\Vert \overrightarrow{v}\Vert$$

其中：

• $p$ 表示向量 $\overrightarrow{u}$ 在向量 $\overrightarrow{v}$ 方向上投影的长度
• $\Vert \overrightarrow{v}\Vert$ 表示向量 $\overrightarrow{v}$ 的长度

因此：

$${\theta }^{T}x=p\Vert \theta \Vert$$

其中 $p$ 表示 $x$ 在 $\theta$ 方向的投影长度。我们知道 $\theta$ 为分界线的法向量反向，因此 $p$ 可以在一定程度上反映 $x$ 到分割线的距离。因此我们希望 $p$ 尽量大，也就是 $\Vert \theta \Vert$ 尽量小。而：$\Vert \theta {\Vert }^2=\sum _{j=1}^n{\theta }_j^2$，因此这也就与前面的优化目标相一致了。

3. Gaussian Kernel

上面的分析我们假设都是线性可分的，然而实际上许多情况并非是线性可分。在这种情况下，我们可以通过将样本特征通过一定的函数映射，转化为线性可分。这里以高斯核为例。

将样本的 $n$ 个特征映射为新的 $k$ 个特征 $f_1,f_2,...,f_k$。首先我们先选择 $k$ 个点 $l^{(1)},l^{(2)},...,l^{(k)}$，定义：

$$f_i=similarity(x,l^{(i)})=e^{-\frac{\Vert x-l^{(i)}{\Vert }^2}{2{\sigma }^2}}=e^{-\frac{\sum _{j=1}^n(x_j-l_j^{(i)}{)}^2}{2{\sigma }^2}}$$

• 若 $x\approx l^{(i)}$，则 $f_i\approx 1$
• 若 $x$ 离 $l^{(i)}$ 很远，则 $f_i\approx 0$

下面是当 $l^{(1)}=\left[\begin{array}{}3\\ 5\end{array}\right]$ 时，$f_1$ 的图像：

在得到这些新的特征后，我们对这些新的特征使用 SVM。

在实际过程中，如何选择参照点 $l^{(i)}$ 呢？实际上，可以直接将 $m$ 个样本点作为 $m$ 个参照点，即：

$$l^{(1)}=x^{(1)},l^{(2)}=x^{(2)},...,l^{(m)}=x^{(m)}$$