Da dove iniziare

Feature Engineering con PySpark

John Hogue

Lead Data Scientist, General Mills

Tuffarsi subito nell'analisi

Qui ci sono mostri

Mostri

Processo di Data Science

Controlla le tue versioni!

  # return spark version
  spark.version

  # return python version
  import sys
  sys.version_info

I dati sono forniti come Parquet

Memorizzati per colonne
- Query veloci su sottoinsiemi di colonne
Strutturati, schema definito
- Campi e tipi di dato definiti
- Ottimo per testo disordinato
Standard di settore
- Ottima competenza da avere! 😃

Formato file Parquet

Metodi read di PySpark

# JSON
spark.read.json('example.json')

# File CSV o delimitati
spark.read.csv('example.csv')

# Parquet
spark.read.parquet('example.parq')

# Leggi un file Parquet in un DataFrame PySpark
df = spark.read.parquet('example.parq')

Feature Engineering con PySpark