机器学习与深度学习理论思维导图

多决策树集成投票。

自助采样(Bootstrap)生成训练集。

特征随机选择构建决策树。

基于树的结构评估特征重要性。

优点包括准确度高、能处理高维数据等。

缺点包括计算量大、可能过拟合等。

通过袋外错误率等方法分析泛化误差。

特征(X)映射到类别概率(Y)进行分类。

使用Sigmoid函数进行映射。

采用极大似然估计进行推导。

L2正则二分类。

通过Softmax回归实现多分类。

包括输入层、隐藏层、输出层。

ReLU、Sigmoid、Tanh、Softmax等。

用于调整网络参数。

采用L1/L2正则化、Dropout、早停(EarlyStopping)等方法。

针对梯度消失/爆炸、学习率调整、收敛问题等进行分析和排查。

局部连接、权值共享、池化操作。

卷积计算、反向传播、参数更新。

图像分类、目标检测、文本分类(1D-CNN)。

前向传播、损失计算、反向传播、梯度更新。

训练不收敛：调整学习率/优化器；梯度消失：使用ReLU/BatchNorm；过拟合：使用Dropout/数据增强；显存不足：减小batch/梯度累积。

时间递归结构、记忆能力。

LSTM、GRU等。

梯度裁剪防爆炸、PackedSequence处理变长序列。

感知机、SVM、逻辑回归、决策树等。

K-means、GMM、LDA等。

PCA(最大方差/SVD)、LSA(矩阵分解)。

NMF(非负矩阵分解)、t-SNE(流形学习)。

PageRank(幂法迭代)等。