Od czego zacząć

Inżynieria cech z PySpark

John Hogue

Lead Data Scientist, General Mills

Bezpośrednio do analizy

Tu są potwory

Potwory

Sprawdź swoje wersje!

  # return spark version
  spark.version

  # return python version
  import sys
  sys.version_info

Dane dostarczane jako Parquet

Przechowywanie kolumnowe
- Szybkie zapytania o podzbiory kolumn
Ustrukturyzowany, zdefiniowany schemat
- Zdefiniowane pola i typy danych
- Świetny do nieuporządkowanych danych tekstowych
Standard branżowy
- Warto znać! 😃

Format pliku Parquet

Metody read w PySpark

# JSON
spark.read.json('example.json')

# CSV lub pliki z separatorem
spark.read.csv('example.csv')

# Parquet
spark.read.parquet('example.parq')

# Read a parquet file to a PySpark DataFrame
df = spark.read.parquet('example.parq')

Inżynieria cech z PySpark