1. 过拟合

在线性回归和逻辑回归中，容易出现过拟合的情况，即训练模型可以很好地适用于训练集，得到代价函数 ，但是这样的模型并无法泛化，对于测试数据，会偏差很大。

在样本特征数多，而样本数少的情况下，很容易发生过拟合。解决过拟合的方法：

1. 减少使用的特征数
2. 正则化

2. Linear Regression Regularization

修改 Cost Function 为：

在梯度下降过程中：

对于正规方程解法：

3. Logistic Regression Regularization

修改 Cost Function 为：

在梯度下降过程中：