AI产品经理入门知识AI技术之监督学习思维导图

决策树是一个树结构，每个非叶节点表示一个特征属性，每个分支代表这个特征属性在某值域上的输出，每个叶节点存放一个类别。

使用决策树进行决策的过程就是从根节点开始，测试待分类项中相应的特征属性，并按照其值选择输出分支，直到到达某个叶节点，该叶节点存放的类别即为决策结果。

决策树是一种判别模型，既支持分类问题，也支持回归问题，是一种非线性模型（分段线性函数不是线性的），它天然的支持多分类问题。决策树的构建由机器训练得到，而不是人工制定。

决策树的关键步骤是分裂属性，即在某个节点处按照某一特征属性的不同划分构造不同的分支，尽量让一个分裂子集中待分类项属于同一类别。而根据判断方法的不同所以产生了ID3算法，C4.5算法以及CART算法。

基于规则的信用评估、赛马结果预测。

擅长对人、地点、事物的一系列不同特征、品质、特性进行评估，非常容易解释，但容易趋于过拟合。

由决策树与集成学习算法相结合生成，由多棵决策树组成。用多棵决策树联合预测可以提高模型的精度，这些决策树用对训练样本集随机抽样构造出的样本集训练得到。由于训练样本集由随机抽样构造，因此称为随机森林。

随机森林不仅对训练样本进行抽样，还对特征向量的分量随机抽样，在训练决策树时，每次分裂时只使用一部分抽样的特征分量作为候选特征进行分裂。随机森林是一种判别模型，既支持分类问题，也支持回归问题，并且支持多分类问题，这是一种非线性模型。

用户流失分析、风险评估。

随机森林对大规模数据集和存在大量且有时不相关特征的项来说很有用，且有很好的解释性。它比使用单个模型预测出来的结果要精确的多，但同时也需要大量的维护工作。

是在已知样本的特征向量为x的条件下反推样本所属的类别y，即对于给出的待分类项，求解在此待分类项出现的条件下各个类别出现的概率，哪个概率最大，就认为此待分类项属于哪个类别。

文本处理里的垃圾邮件过滤、情感分析、消费者分类、拼写纠正、文字广告过滤、识别恶性评论等领域。

对于在小数据集上有显著特征的相关对象，朴素贝叶斯方法可对其进行快速分类，且很统一被解释。所需估计的参数不大，对缺失数据不太敏感，而且无需复杂的迭代求解框架，适用于规模巨大的数据集。

但是对输入数据的形式比较敏感、计算先验概率时分类决策可能存在错误。如果输入变量是相关的，则会出现问题。

把标注好类别的训练样本映射到选取的特征数维度的坐标系里，然后再把测试样本映射到这个坐标系里，选取距离该测试样本最近的k个训练样本，其中哪个训练样本类别占比最大，就可以认为该类别就是这个测试样本的类别。

kNN算法是一种判别模型，即支持分类问题，也支持回归问题，是一种非线性模型。它天然的支持多分类问题。kNN算法没有训练过程，是一种基于实例的算法。

适用 kNN可以处理数值型（从无限的数值集合中取值，如：0.100，42.001等）和标称型（只在有限目标集中取值，如：真与假）数据。

一种特征对应一个维度，一种特征下的数据可以数值型的也可以是标称型的。

这种算法思想简单，理论成熟，准确度高。

但是会占用大量内存，因为需要存储所有的训练样本点，而且每个新测试样本需要通过kNN算法分类，都要计算这个测试样本与所有训练样本点的距离。

主要用于拟合数据趋势。简而言之，就是尽量用一条线或平面或超平面来拟合已有的一组数据。确定自变量和因变量间的相互依赖的定量关系。简单的线性回归一般使用“最小二乘法”来求解，最小二乘的思想就是使得求解的这条线或平面或超平面使所有误差的平方和最小。

适用于数值型和标称型数据。

结果易于理解，计算不复杂，但是只能用于拟合线性数据，非线性数据拟合效果很差。

逻辑回归只是对线性回归的计算结果加了Sigmoid函数进行处理，将数值结果转化为了0到1之间的概率，根据这个概率可以做预测。

logistic回归是一种判别模型，它是一种线性模型，用于二分类问题。

路面交通流量分析、邮件过滤，

实现简单，分类时计算量非常小，速度很快，存储资源低，但是容易欠拟合。

支持向量机的目标是寻找一个分类超平面，它不仅能正确的分类每一个样本，并且要使得每一类样本中距离超平面最近的样本到超平面的距离尽可能远。

SVM是一种判别模型，它既可以用于分类问题，也可以用于回归问题。标准的SVM只能支持二分类问题，使用多个分类器的组合，可以解决多分类问题。

新闻分类、手写识别。

擅长在变量x和其他变量之间进行二元分类操作，无论其关系是否为线性的。可以捕获数据之间更复杂的关系，而无需人为地进行困难的数据转换。但同时它的训练时间长得多，因为计算量更大，而且可解释性也比较差。