Var ska man börja?

Feature Engineering med PySpark

John Hogue

Lead Data Scientist, General Mills

Dyka rakt in i analysen

Här finns monster

Monster

Kontrollera dina versioner!

  # return spark version
  spark.version

  # return python version
  import sys
  sys.version_info

Data levereras som Parquet

Lagras kolumnvis
- Snabbt att fråga kolumnurval
Strukturerat, definierat schema
- Fält och datatyper är definierade
- Utmärkt för ostrukturerad textdata
Branschstandard
- En bra kompetens att ha! 😃

Parquet-filformat

PySparks read-metoder

# JSON
spark.read.json('example.json')

# CSV or delimited files
spark.read.csv('example.csv')

# Parquet
spark.read.parquet('example.parq')

# Read a parquet file to a PySpark DataFrame
df = spark.read.parquet('example.parq')

Feature Engineering med PySpark