Predicție și evaluare

Introducere în Spark SQL în Python

Mark Plutowski

Data Scientist

Aplicarea unui model pe date de evaluare

predicted = df_trained.transform(df_test)
  • coloana de predicție: double
  • coloana de probabilitate: vector de lungime doi
x = predicted.first
print("Right!" if x.label == int(x.prediction) else "Wrong")
Introducere în Spark SQL în Python

Evaluarea acurateței clasificării

model_stats = model.evaluate(df_eval)

type(model_stats)

pyspark.ml.classification.BinaryLogisticRegressionSummary)

print("\nPerformance: %.2f" % model_stats.areaUnderROC)
Introducere în Spark SQL în Python

Exemplu de clasificare a textului

  • Etichete pozitive:

    • ['her', 'him', 'he', 'she', 'them', 'us', 'they', 'himself', 'herself', 'we']

  • Număr de exemple: 5746

  • Număr de exemple: 2873 pozitive, 2873 negative
  • Exemple de antrenament: 4607
  • Exemple de test: 1139
  • Iterații de antrenament: 21
  • AUC test: 0.87
Introducere în Spark SQL în Python

Predicția cuvântului final

  • Etichetă pozitivă: 'it'

  • Număr de exemple: 438

  • Număr de exemple: 219 pozitive, 219 negative
  • Exemple de antrenament: 340
  • Exemple de test: 98
  • AUC test: 0.85
Introducere în Spark SQL în Python

Să exersăm!

Introducere în Spark SQL în Python

Preparing Video For Download...