グリッドサーチ
Machine Learning with PySpark
Andrew Collier
Data Scientist, Fathom Data
Carsを再訪（再）
cars.select('mass', 'cyl', 'consumption').show(5)
+------+---+-----------+
| mass|cyl|consumption|
+------+---+-----------+
|1451.0| 6| 9.05|
|1129.0| 4| 6.53|
|1399.0| 4| 7.84|
|1147.0| 4| 7.84|
|1111.0| 4| 9.05|
+------+---+-----------+
燃費（切片あり）
切片ありの線形回帰。学習データに適合。
regression = LinearRegression(labelCol='consumption', fitIntercept=True)
regression = regression.fit(cars_train)
テストデータでRMSEを算出。
evaluator.evaluate(regression.transform(cars_test))
# 切片ありモデルのRMSE
0.745974203928479
燃費（切片なし）
切片なしの線形回帰。学習データに適合。
regression = LinearRegression(labelCol='consumption', fitIntercept=False)
regression = regression.fit(cars_train)
テストデータでRMSEを算出。
# 切片なしモデル（2番目）のRMSE
0.852819012439
# 切片ありモデル（1番目）のRMSE
0.745974203928
パラメーターグリッド
from pyspark.ml.tuning import ParamGridBuilder # パラメーターグリッドビルダーを作成 params = ParamGridBuilder()# グリッド点を追加 params = params.addGrid(regression.fitIntercept, [True, False])# グリッドを構築 params = params.build()# モデル数は？ print('Number of models to be tested: ', len(params))
Number of models to be tested: 2
クロスバリデーション付きグリッドサーチ
クロスバリデータを作成し、学習データに当てはめます。
cv = CrossValidator(estimator=regression,
estimatorParamMaps=params,
evaluator=evaluator)
cv = cv.setNumFolds(10).setSeed(13).fit(cars_train)
各モデルのクロスバリデーションRMSEは？
cv.avgMetrics
[0.800663722151, 0.907977823182]
ベストモデルとパラメータ
# ベストモデルにアクセス
cv.bestModel
またはクロスバリデータ本体を使います。
predictions = cv.transform(cars_test)
最良パラメータを取得。
cv.bestModel.explainParam('fitIntercept')
'fitIntercept: whether to fit an intercept term (default: True, current: True)'
より複雑なグリッド
params = ParamGridBuilder() \ .addGrid(regression.fitIntercept, [True, False]) \.addGrid(regression.regParam, [0.001, 0.01, 0.1, 1, 10]) \.addGrid(regression.elasticNetParam, [0, 0.25, 0.5, 0.75, 1]) \ .build()
モデル数は？
print ('Number of models to be tested: ', len(params))
Number of models to be tested: 50
最適パラメータを見つけよう！
Machine Learning with PySpark
