机器学习中几个常见模型的优缺点

朴素贝叶斯：优点：对小规模的数据表现很好，适合多分类任务，适合增量式训练。

缺点：对输入数据的表达形式很敏感（连续数据的处理方式）。

决策树：优点：计算量简单，可解释性强，比较适合处理有缺失属性值的样本，能够处理不相关的特征。缺点：容易过拟合（后续出现了随机森林，减小了过拟合现象）。

逻辑回归：优点：实现简单，分类时计算量非常小，速度很快，存储资源低。缺点：容易欠拟合，一般准确度不高；只能处理二分类问题（softmax解决多分类），需线性可分。

损失函数：http://www.cda.cn/uploadfile/image/20180820/20180820104858_96062.png

KNN：优点：思想简单，理论成熟，既可以用来做分类也可以用来做回归； 可用于非线性分类；训练时间复杂度为O(n)；准确度高，对数据没有假设，对outlier不敏感。缺点：计算量大；样本不平衡时的问题；需要大量的内存；未归一化时影响很大。

SVM：优点：可用于线性/非线性分类，也可以用于回归；低泛化误差；容易解释；计算复杂度较低。缺点：对参数和核函数的选择比较敏感；原始的SVM只比较擅长处理二分类问题。

损失函数：http://www.cda.cn/uploadfile/image/20180820/20180820104853_68743.png

归一化的作用：

1.      提高梯度下降法求解最优解的速度（很难收敛甚至不能收敛）；例如等高线：

http://www.cda.cn/uploadfile/image/20180820/20180820104847_18622.png

2.      有可能提高精度；一些分类器需要计算样本之间的距离，例如KNN，若一个特征值范围较大，距离计算将取决于这个特征。