पूर्वानुमान और मूल्यांकन

Python में Spark SQL परिचय

Mark Plutowski

Data Scientist

मॉडल को evaluation डेटा पर लागू करना

predicted = df_trained.transform(df_test)

x = predicted.first
print("Right!" if x.label == int(x.prediction) else "Wrong")

model_stats = model.evaluate(df_eval)

type(model_stats)

pyspark.ml.classification.BinaryLogisticRegressionSummary)

print("\nPerformance: %.2f" % model_stats.areaUnderROC)

Positive labels:
- ['her', 'him', 'he', 'she', 'them', 'us', 'they', 'himself', 'herself', 'we']
उदाहरणों की संख्या: 5746
उदाहरणों की संख्या: 2873 positive, 2873 negative
प्रशिक्षण उदाहरण: 4607
टेस्ट उदाहरण: 1139
training iterations: 21
टेस्ट AUC: 0.87

Python में Spark SQL परिचय