Kde začít

Feature Engineering with PySpark

John Hogue

Lead Data Scientist, General Mills

Přímý skok k analýze

Zde jsou příšery

Příšery

Zkontrolujte své verze!

  # return spark version
  spark.version

  # return python version
  import sys
  sys.version_info

Data jsou dodávána ve formátu Parquet

Sloupcové uložení
- Rychlé dotazy na podmnožiny sloupců
Strukturované, definované schéma
- Definovaná pole a datové typy
- Vhodné pro nestrukturovaná textová data
Průmyslový standard
- Užitečná dovednost! 😃

Formát souboru Parquet

Metody read v PySparku

# JSON
spark.read.json('example.json')

# CSV nebo soubory s oddělovačem
spark.read.csv('example.csv')

# Parquet
spark.read.parquet('example.parq')

# Read a parquet file to a PySpark DataFrame
df = spark.read.parquet('example.parq')

Feature Engineering with PySpark