Prevendo e avaliando

Introdução ao Spark SQL em Python

Mark Plutowski

Data Scientist

Aplicando um modelo aos dados de avaliação

predicted = df_trained.transform(df_test)
  • coluna prediction: double
  • coluna probability: vetor de tamanho dois
x = predicted.first
print("Right!" if x.label == int(x.prediction) else "Wrong")
Introdução ao Spark SQL em Python

Avaliando a acurácia da classificação

model_stats = model.evaluate(df_eval)

type(model_stats)

pyspark.ml.classification.BinaryLogisticRegressionSummary)

print("\nDesempenho: %.2f" % model_stats.areaUnderROC)
Introdução ao Spark SQL em Python

Exemplo de classificação de texto

  • Rótulos positivos:

    • ['her', 'him', 'he', 'she', 'them', 'us', 'they', 'himself', 'herself', 'we']

  • Nº de exemplos: 5746

  • Nº de exemplos: 2873 positivos, 2873 negativos
  • Nº de exemplos de treino: 4607
  • Nº de exemplos de teste: 1139
  • iterações de treino: 21
  • AUC de teste: 0.87
Introdução ao Spark SQL em Python

Prevendo a palavra final

  • Rótulo positivo: 'it'

  • Nº de exemplos: 438

  • Nº de exemplos: 219 positivos, 219 negativos
  • Nº de exemplos de treino: 340
  • Nº de exemplos de teste: 98
  • AUC de teste: 0.85
Introdução ao Spark SQL em Python

Vamos praticar!

Introdução ao Spark SQL em Python

Preparing Video For Download...