Por dónde empezar

Ingeniería de características con PySpark

John Hogue

Lead Data Scientist, General Mills

Zambullirse directo en el análisis

Aquí hay monstruos

Monstruos

Proceso de Data Science

¡Comprueba tus versiones!

  # return spark version
  spark.version

  # return python version
  import sys
  sys.version_info

Los datos se entregan como Parquet

Almacenado por columnas
- Consultas rápidas de subconjuntos de columnas
Estructurado, esquema definido
- Campos y tipos de datos definidos
- Ideal para texto desordenado
Adoptado en la industria
- ¡Buena habilidad que tener! 😃

Formato de archivo Parquet

Métodos read de PySpark

# JSON
spark.read.json('example.json')

# CSV o archivos delimitados
spark.read.csv('example.csv')

# Parquet
spark.read.parquet('example.parq')

# Lee un archivo Parquet a un DataFrame de PySpark
df = spark.read.parquet('example.parq')

Ingeniería de características con PySpark