Tahmin ve değerlendirme

Python ile Spark SQL'e Giriş

Mark Plutowski

Data Scientist

Bir modeli değerlendirme verisine uygulama

predicted = df_trained.transform(df_test)
  • prediction sütunu: double
  • probability sütunu: iki uzunlukta vektör
x = predicted.first
print("Right!" if x.label == int(x.prediction) else "Wrong")
Python ile Spark SQL'e Giriş

Sınıflandırma doğruluğunu değerlendirme

model_stats = model.evaluate(df_eval)

type(model_stats)

pyspark.ml.classification.BinaryLogisticRegressionSummary)

print("\nPerformance: %.2f" % model_stats.areaUnderROC)
Python ile Spark SQL'e Giriş

Metin sınıflandırma örneği

  • Pozitif etiketler:

    • ['her', 'him', 'he', 'she', 'them', 'us', 'they', 'himself', 'herself', 'we']

  • Örnek sayısı: 5746

  • Örnek sayısı: 2873 pozitif, 2873 negatif
  • Eğitim örnekleri: 4607
  • Test örnekleri: 1139
  • Eğitim yinelemeleri: 21
  • Test AUC: 0.87
Python ile Spark SQL'e Giriş

Son kelimeyi tahmin etme

  • Pozitif etiket: 'it'

  • Örnek sayısı: 438

  • Örnek sayısı: 219 pozitif, 219 negatif
  • Eğitim örnekleri: 340
  • Test örnekleri: 98
  • Test AUC: 0.85
Python ile Spark SQL'e Giriş

Haydi pratik yapalım!

Python ile Spark SQL'e Giriş

Preparing Video For Download...