Waar begin je

Feature Engineering met PySpark

John Hogue

Lead Data Scientist, General Mills

Direct de analyse in duiken

Hier zijn monsters

Monsters

Data Science-proces

Controleer je versies!

  # return spark version
  spark.version

  # return python version
  import sys
  sys.version_info

Data wordt aangeleverd als Parquet

Kolomgericht opgeslagen
- Snel kolomsubsets bevragen
Gestructureerd, gedefinieerd schema
- Velden en datatypen gedefinieerd
- Ideaal voor rommelige tekstdata
Breed gebruikt in de industrie
- Handige skill om te hebben! 😃

Parquet-bestandsindeling

PySpark-read-methoden

# JSON
spark.read.json('example.json')

# CSV of door scheidingsteken gescheiden bestanden
spark.read.csv('example.csv')

# Parquet
spark.read.parquet('example.parq')

# Lees een Parquet-bestand in een PySpark DataFrame
df = spark.read.parquet('example.parq')

Feature Engineering met PySpark