Model selection模型选择
ML中的一个重要任务是模型选择，或使用数据为给定任务找到最佳的模型或参数。 这也称为调优。 可以对诸如Logistic回归的单独Estimators进行调整，或者对包括多个算法，特征和其他步骤的整个Pipeline进行调整。 用户可以一次调整整个Pipeline，而不必单独调整Pipeline中的每个元素。
MLlib支持使用CrossValidator和TrainValidationSplit等工具进行模型选择。这些工具需要以下items：
Estimator：要调整的algorithm or Pipeline
Set of ParamMaps：可以选择的参数，有时称为“parameter grid”
Evaluator：衡量拟合模型对测试数据支持的有多好
在高级别，这些模型选择工具的工作如下：
将输入数据分成单独的训练和测试数据集。
对于每个（训练，测试）对，遍历ParamMap的集合：
对于每个ParamMap，它们使用这些参数拟合Estimator，获得拟合的Model，并使用Evaluator评估Model的性能。
选择由性能最佳的参数集合生成的模型。
Evaluator可以是用于回归问题的RegressionEvaluator，用于二进制数据的BinaryClassificationEvaluator，用于多类问题的MulticlassClassificationEvaluator。每个evaluator中的“setMetricName方法”是一个用于选择最佳ParamMap的默认度量。
为了帮助构造parameter grid，用户可以使用ParamGridBuilder实用程序。
Spark2 Model selection and tuning 模型选择与调优
原文：http://www.cnblogs.com/wwxbi/p/6210199.html