Por onde começar

Feature Engineering com PySpark

John Hogue

Lead Data Scientist, General Mills

Mergulhando direto na análise

Aqui há monstros

Monstros

Processo de Data Science

Confira suas versões!

  # return spark version
  spark.version

  # return python version
  import sys
  sys.version_info

Dados fornecidos como Parquet

Armazenado por colunas
- Rápido para consultar subconjuntos de colunas
Estruturado, esquema definido
- Campos e tipos de dados definidos
- Ótimo para texto desorganizado
Amplamente adotado na indústria
- Uma ótima habilidade! 😃

Formato de arquivo Parquet

Métodos read do PySpark

# JSON
spark.read.json('example.json')

# CSV ou arquivos delimitados
spark.read.csv('example.csv')

# Parquet
spark.read.parquet('example.parq')

# Ler um arquivo parquet em um DataFrame do PySpark
df = spark.read.parquet('example.parq')

Feature Engineering com PySpark