Křížová validace

Machine Learning with PySpark

Andrew Collier

Data Scientist, Fathom Data

Úplná datová sada

Datová sada rozdělená na trénovací a testovací sadu

Trénovací data rozdělená do více částí

Část po části – první část

První část

Část po části – druhá část

Druhá část

Část po části – ostatní části

Zbývající části

Automobily znovu

cars.select('mass', 'cyl', 'consumption').show(5)

+------+---+-----------+
|  mass|cyl|consumption|
+------+---+-----------+
|1451.0|  6|       9.05|
|1129.0|  4|       6.53|
|1399.0|  4|       7.84|
|1147.0|  4|       7.84|
|1111.0|  4|       9.05|
+------+---+-----------+

Estimátor a evaluátor

Objekt pro sestavení modelu. Může být pipeline.

regression = LinearRegression(labelCol='consumption')

Objekt pro vyhodnocení výkonu modelu.

evaluator = RegressionEvaluator(labelCol='consumption')

Mřížka a křížový validátor

from pyspark.ml.tuning import CrossValidator, ParamGridBuilder

Mřížka hodnot parametrů (prozatím prázdná).

params = ParamGridBuilder().build()

Objekt křížové validace.

cv = CrossValidator(estimator=regression,
                    estimatorParamMaps=params,
                    evaluator=evaluator,
                    numFolds=10, seed=13)

Křížové validátory také potřebují trénování

Aplikace křížové validace na trénovací data.

cv = cv.fit(cars_train)

Jaká je průměrná RMSE napříč částmi?

cv.avgMetrics

[0.800663722151572]

Křížové validátory se chovají jako modely

Predikce na původních testovacích datech.

evaluator.evaluate(cv.transform(cars_test))

# RMSE on testing data
0.745974203928479

Výrazně nižší než RMSE z křížové validace.

# RMSE from cross-validation
0.800663722151572

Prosté rozdělení na trénovací a testovací sadu by poskytlo příliš optimistický pohled na výkon modelu.

Křížová validace pro všechny modely!

Machine Learning with PySpark