Wo fängst du an?

Feature Engineering mit PySpark

John Hogue

Lead Data Scientist, General Mills

Direkt in die Analyse eintauchen

Hier lauern Monster

Monster

Data-Science-Prozess

Prüfe deine Versionen!

  # return spark version
  spark.version

  # return python version
  import sys
  sys.version_info

Daten kommen als Parquet

Spaltenweise gespeichert
- Schnell für Spaltenabfragen
Strukturiert, Schema definiert
- Felder und Datentypen festgelegt
- Super für unordentliche Textdaten
In der Industrie verbreitet
- Eine gute Fähigkeit! 😃

Parquet-Dateiformat

PySpark-read-Methoden

# JSON
spark.read.json('example.json')

# CSV oder durch Trennzeichen getrennte Dateien
spark.read.csv('example.csv')

# Parquet
spark.read.parquet('example.parq')

# Lies eine Parquet-Datei in ein PySpark DataFrame
df = spark.read.parquet('example.parq')

Feature Engineering mit PySpark