Classificação de texto

Introdução ao Spark SQL em Python

Mark Plutowski

Data Scientist

Previsão de palavra final

Introdução ao Spark SQL em Python

Seta de sequência

Introdução ao Spark SQL em Python

Palavra final

Introdução ao Spark SQL em Python

Colchete da palavra final

Introdução ao Spark SQL em Python

Embaralhar 1

Introdução ao Spark SQL em Python

Embaralhar 2

Introdução ao Spark SQL em Python

Músicas

Introdução ao Spark SQL em Python

Vídeos

Introdução ao Spark SQL em Python

Selecionando os dados

df_true = df.where("endword in ('she', 'he', 'hers', 'his', 'her', 'him')")\
            .withColumn('label', lit(1))


df_false = df.where("endword not in ('she', 'he', 'hers', 'his', 'her', 'him')")\
           .withColumn('label', lit(0))
Introdução ao Spark SQL em Python

Combinando dados positivos e negativos

df_examples = df_true.union(df_false)
Introdução ao Spark SQL em Python

Dividindo em treino e avaliação

df_train, df_eval = df_examples.randomSplit((0.60, 0.40), 42)
Introdução ao Spark SQL em Python

Treinando

from pyspark.ml.classification import LogisticRegression

logistic = LogisticRegression(maxIter=50, regParam=0.6, elasticNetParam=0.3)

model = logistic.fit(df_train)

print("Training iterations: ", model.summary.totalIterations)
Introdução ao Spark SQL em Python

Vamos praticar!

Introdução ao Spark SQL em Python

Preparing Video For Download...