Dự đoán và đánh giá

Nhập môn Spark SQL bằng Python

Mark Plutowski

Data Scientist

Áp dụng mô hình lên dữ liệu đánh giá

predicted = df_trained.transform(df_test)
  • cột prediction: double
  • cột probability: vector độ dài 2
x = predicted.first
print("Right!" if x.label == int(x.prediction) else "Wrong")
Nhập môn Spark SQL bằng Python

Đánh giá độ chính xác phân loại

model_stats = model.evaluate(df_eval)

type(model_stats)

pyspark.ml.classification.BinaryLogisticRegressionSummary)

print("\nHiệu năng: %.2f" % model_stats.areaUnderROC)
Nhập môn Spark SQL bằng Python

Ví dụ phân loại văn bản

  • Nhãn dương:

    • ['her', 'him', 'he', 'she', 'them', 'us', 'they', 'himself', 'herself', 'we']

  • Số ví dụ: 5746

  • Số ví dụ: 2873 dương, 2873 âm
  • Số ví dụ huấn luyện: 4607
  • Số ví dụ kiểm thử: 1139
  • Số vòng lặp huấn luyện: 21
  • AUC kiểm thử: 0.87
Nhập môn Spark SQL bằng Python

Dự đoán từ kết thúc

  • Nhãn dương: 'it'

  • Số ví dụ: 438

  • Số ví dụ: 219 dương, 219 âm
  • Số ví dụ huấn luyện: 340
  • Số ví dụ kiểm thử: 98
  • AUC kiểm thử: 0.85
Nhập môn Spark SQL bằng Python

Hãy thực hành!

Nhập môn Spark SQL bằng Python

Preparing Video For Download...