Nereden Başlamalı

PySpark ile Özellik Mühendisliği

John Hogue

Lead Data Scientist, General Mills

Doğrudan Analize Dalış

Burada Canavarlar Var

Canavarlar

Sürümlerini kontrol et!

  # spark sürümünü döndürür
  spark.version

  # python sürümünü döndürür
  import sys
  sys.version_info

Veri Parquet olarak sağlanır

Sütun bazlı depolanır
- Sütun alt kümeleri hızlı sorgulanır
Yapılı, tanımlı şema
- Alanlar ve veri tipleri tanımlı
- Dağınık metin verisi için harika
Sektörde benimsenmiş
- Sahip olmak iyi bir beceri! 😃

Parquet Dosya Biçimi

PySpark read yöntemleri

# JSON
spark.read.json('example.json')

# CSV veya ayrılmış dosyalar
spark.read.csv('example.csv')

# Parquet
spark.read.parquet('example.parq')

# Bir parquet dosyasını PySpark DataFrame olarak oku
df = spark.read.parquet('example.parq')

PySpark ile Özellik Mühendisliği