Predicción y evaluación

Introducción a Spark SQL en Python

Mark Plutowski

Data Scientist

Aplicar un modelo a datos de evaluación

predicted = df_trained.transform(df_test)
  • columna prediction: double
  • columna probability: vector de longitud dos
x = predicted.first
print("Right!" if x.label == int(x.prediction) else "Wrong")
Introducción a Spark SQL en Python

Evaluar la precisión de clasificación

model_stats = model.evaluate(df_eval)

type(model_stats)

pyspark.ml.classification.BinaryLogisticRegressionSummary)

print("\nPerformance: %.2f" % model_stats.areaUnderROC)
Introducción a Spark SQL en Python

Ejemplo de clasificación de texto

  • Etiquetas positivas:

    • ['her', 'him', 'he', 'she', 'them', 'us', 'they', 'himself', 'herself', 'we']

  • Número de ejemplos: 5746

  • Número de ejemplos: 2873 positivos, 2873 negativos
  • Ejemplos de entrenamiento: 4607
  • Ejemplos de prueba: 1139
  • Iteraciones de entrenamiento: 21
  • AUC de prueba: 0.87
Introducción a Spark SQL en Python

Predecir la palabra final

  • Etiqueta positiva: 'it'

  • Número de ejemplos: 438

  • Número de ejemplos: 219 positivos, 219 negativos
  • Ejemplos de entrenamiento: 340
  • Ejemplos de prueba: 98
  • AUC de prueba: 0.85
Introducción a Spark SQL en Python

¡Vamos a practicar!

Introducción a Spark SQL en Python

Preparing Video For Download...