统计学习方法（二）思维导图

学习方法对于未知数据的预测能力

如果一味地追求提高对训练数据的预测能力，所选模型的复杂度则往往会比真模型更高。这种现象叫过拟合。对已知数据预测得很好，对未知数据预测得很差

正则化是结构风险最小化策略的实现，是在经验风险上加上一个正则化项(regularizer)或罚项

一般形式

​ 奥卡姆剃刀原理

重复地使用数据，把给定的数据进行切分，将切分的数据集组合为训练集与测试集，在此基础上反复地进行训练、测试以及模型选择

首先随机地将已给数据切分为S个互不相交、大小相同的子集；然后利用S-1个子集的数据训练模型，利用余下的子集测试模型；将这一过程对可能的S种选择重复进行；最后选出S次评测中平均测试误差最小的模型

验证集和测试集有什么区别

import numpy as np from sklearn.model_selection import KFold Y = np.array([[1, 2], [3, 4], [5, 6], [7, 8],[9,10],[11,12]]) i=0 kf = KFold(n_splits=3) #3折交叉验证，将数据分为三份，每次取一份作为test集 for train_index, test_index in kf.split(Y):

第一次D2、D3作为训练集，D1作为测试集 train_index [2 3 4 5] test_index [0 1] train_Y [[ 5 6] [ 7 8] [ 9 10] [11 12]] test_Y [[1 2] [3 4]]

#第二次D1、D3作为训练集，D2作为测试集 train_index [0 1 4 5] test_index [2 3] train_Y [[ 1 2] [ 3 4] [ 9 10] [11 12]] test_Y [[5 6] [7 8]]

可以还原出联合概率

收敛速度快, 当样本容量增加时, 学到的模型可以更快收敛到真实模型

当存在隐变量时仍可以用

学习到的模型叫判别模型，形式为条件概率分布

特点