统计学习方法（一）思维导图
统计学习方法
树图思维导图提供 统计学习方法（一） 在线思维导图免费制作，点击“编辑”按钮，可对 统计学习方法（一） 进行在线思维导图编辑，本思维导图属于思维导图模板主题，文件编号是：294f1834c0eede9c682821131670bd91
思维导图大纲
统计学习方法（一）思维导图模板大纲
什么是统计学习
统计学习是关于计算机基于数据构建概率统计模型并运用模型对数据进行预测和分析的一门学科
实现步骤
得到一个有限的训练数据集合
确定包含所有可能的模型的假设空间，即学习模型的集合
确定模型选择的准则，即学习的策略
实现求解最优模型的算法，即学习的算法
通过学习方法选择最优模型
利用学习的最优模型对新数据进行预测或分析
分类
监督学习
从标注数据中学习预测模型的机器学习问题
本质
学习输入到输出的映射的统计规律
基本假设
输入变量 和输出变量 遵循联合概率分布
假设空间
模型属于由输入空间到输出空间的映射的集合
过程：学习+预测
学习系统利用给定的训练数据集，通过学习（或训练）得到一个模型， 表示为条件分布 或决策函数 。
无监督学习
从无标注数据中学习预测模型的机器学习问题
本质：学习数据中的统计规律或潜在结构
强化学习
智能系统在与环境的连续互动中学习最优行为策略的机器学习问题
本质：学习最优的序贯决策
半监督学习
利用标注数据和未标注数据学习预测模型的机器学习问题
三要素
方法=模型+策略+算法
模型
模型就是所要学习的条件概率分布或决策函数
由决策函数表示的模型为非概率模型，由条件概率表示的模型为概率模型
策略
在模型的假设空间中，考虑按照什么样的准则学习或选择最优的模型
损失函数
0-1损失函数（0-1 loss function)
平方损失函数
绝对损失函数
对数损失函数或对数似然损失函数
风险函数
理论上模型 关于联合分布 的平均意义下的损失
经验风险
期望风险是模型关于联合分布的期望损失，经验风险是模型关于训练样本集的平均损失，根据大数定律，当样本容量 趋于无穷时，经验风险趋于期望风险
经验风险最小化 (ERM)
经验风险最小的模型时最优的模型
结构风险最小化 (SRM)
等价于正则化（在经验风险上加上表示模型复杂度的正则化项）
算法
概念
学习模型的具体计算方法
如果把统计学习问题归结为最优化问题，统计学习的算法就变成了求解最优化问题的算法
子主题 3
沪公网安备 31011502019485号
上海工商