决策树 分类树 八个重要参数 criterion： 决定不纯度的计算方法： 1）”entropy“，使用信息熵（Entropy） 2）”gini“，使用基尼系数（Gini Impurity） ...

训练模型 训练模型的方法 使用成本函数最小的参数 标准方程法 SVD奇异值分解 迭代优化，使用梯度下降 批量梯度下降 随机梯度下降 小批量梯度下降 训练模型方法的问题 训练集有数百万特征：（使用迭代优化）随机梯度下降和小批量梯度下降，若训练集可以容纳于内存，使用批量梯度下降 ...

支持向量机 线性SVM分类 硬间隔分类：让所有实例都在正确的一边的分类。 硬间隔变成软间隔：引入松弛变量C。 C是调节间隔与准确率的因子，C值越大，越不愿放弃那些离群点；c值越小，越不重视那些离群点。（模型过拟合，C值调小进行正则化） 软间隔分类：在“街道”的宽度和间隔违例（错误分类）之间找到良好的平衡的分类。 svm_clf = SVC(kernel=“linear”, C=float(“inf”)) 线性核函数 ...