De unde începem

Feature Engineering cu PySpark

John Hogue

Lead Data Scientist, General Mills

Direct la analiză

Aici sunt monștri

Monștri

Verificați versiunile!

  # return spark version
  spark.version

  # return python version
  import sys
  sys.version_info

Datele sunt furnizate ca Parquet

Stocare pe coloane
- Interogare rapidă a subseturilor de coloane
Schemă structurată și definită
- Câmpuri și tipuri de date definite
- Ideal pentru date text complexe
Adoptat în industrie
- O abilitate valoroasă! 😃

Formatul de fișier Parquet

Metodele read din PySpark

# JSON
spark.read.json('example.json')

# CSV or delimited files
spark.read.csv('example.csv')

# Parquet
spark.read.parquet('example.parq')

# Read a parquet file to a PySpark DataFrame
df = spark.read.parquet('example.parq')

Feature Engineering cu PySpark