线性回归统计分析方法脑图思维导图

利用回归方程(函数)对一个或多个自变量(特征值)和因变量(目标值)之间关系进行建模的一种分析方式

- 单变量回归: 只有一个自变量(特征值)

- 多元回归: 有多个自变量

- 线性回归

- 非线性回归

- 训练: fit(x_train, y_train)

- 预测: predict(x_test)

- 模型系数: coef_

最小二乘法: (预测值-真实值)的平方求和

定义： 求解损失函数最小值

两种方式:

- 每次迭代的时候, 都代入所有的样本计算损失求和求平均值, 作为目标函数

- 每次迭代的时候, 只随机选择一个样本计算损失, 作为目标函数

- 每次迭代的时候, 随机选择一个小批量的数据集, 使用FG对小批量的数据集进行梯度下降

- 每次迭代的时候, 只随机选择一个样本计算损失, 每次计算梯度都存储在内存中, 在更新θ值时候, 求解所有梯度均值, 更新θ值.

1）FG方法由于它每轮更新都要使用全体数据集，故花费的时间成本最多，内存存储最大。

（2）SAG在训练初期表现不佳，优化速度较慢。这是因为我们常将初始梯度设为0，而SAG每轮梯度更新都结合了上一轮梯度值。

（3）综合考虑迭代次数和运行时间，SG表现性能都很好，能在训练初期快速摆脱初始梯度值，快速将平均损失函数降到很低。但要注意，在使用SG方法时要慎重选择步长，否则容易错过最优解。

（4）mini-batch结合了SG的“胆大”和FG的“心细”，从6幅图像来看，它的表现也正好居于SG和FG二者之间。在目前的机器学习领域，mini-batch是使用最多的梯度下降算法，正是因为它避开了FG运算效率低成本大和SG收敛效果不稳定的缺点

sklearn.linear_model.LinearRegression(fit_intercept=True)

均方误差

sklearn.linear_model.SGDRegressor(loss="squared_loss", fit_intercept=True, learning_rate ='invscaling', eta0=0.01)

- coef_: 模型系数

- intercept_: 模型偏置

- 概念: 训练误差大, 测试误差也大

- 原因: 模型太简单了, 学到的东西太少了

- 解决:

- 概念: 训练误差小, 测试误差大

- 原因: 模型太复杂了, 学到东西太多

- 解决:

- 作用 可以让一些系数变得很小, 削弱这个特征项影响. 从而让模型变得简单

- 作用: 直接让一些系数为0, 就相当于删除特征的影响; 让模型变简单了, 不容易过拟合

- 在损失函数上 + L2正则化项

- L2正则化项: 系数的平方和

- 作用: 让一些θ变的很小, 接近于0, 从而削弱这些特征的影响

- 在损失函数上 + L1正则化项

- L1正则化项: 系数绝对值的和

- 作用: 让一些θ值直接为0, 从而删除这些特征影响.

- 是岭回归 和 Lasso回归的折中表示

- 当损失达到可以接受的最小值的时候, 就停止训练

- sklearn.linear_model.Ridge(alpha=1.0)

- 正则化力度越大, 模型系数越小

- 正则化力度越小, 模型系数越大

- 岭回归就是在线性回归上损失函数上添加L2的正则化项

- 岭回归使用随机平均梯度下降法

- 岭回归是一种线性回归

- 总结: 岭回归是使用随机平均梯度下降法, 带有L2正则化的线性回归.

- SGDRegressor

- Ridge

- 保存模型: joblib.dump(estimator, '路径')

- 加载模型: joblib.load('路径')

- 注意: 文件名的后缀是 pkl