Mulai dari Mana

Rekayasa Fitur dengan PySpark

John Hogue

Lead Data Scientist, General Mills

Langsung Menyelam ke Analisis

Di Sini Ada Monster

Monster

Periksa versi Anda!

  # return spark version
  spark.version

  # return python version
  import sys
  sys.version_info

Data disediakan sebagai Parquet

Disimpan per kolom
- Cepat untuk kueri subset kolom
Terstruktur, skema terdefinisi
- Field dan tipe data terdefinisi
- Sangat baik untuk data teks berantakan
Diadopsi industri
- Keterampilan yang bagus untuk dimiliki! 😃

Format Berkas Parquet

Metode read di PySpark

# JSON
spark.read.json('example.json')

# CSV atau berkas berpemisah
spark.read.csv('example.csv')

# Parquet
spark.read.parquet('example.parq')

# Membaca berkas parquet ke PySpark DataFrame
df = spark.read.parquet('example.parq')

Rekayasa Fitur dengan PySpark