Bắt đầu từ đâu

Feature Engineering với PySpark

John Hogue

Lead Data Scientist, General Mills

Lao thẳng vào phân tích

Vùng đất có quái vật

Quái vật

Hãy kiểm tra phiên bản của bạn!

  # return spark version
  spark.version

  # return python version
  import sys
  sys.version_info

Dữ liệu được cung cấp dạng Parquet

Lưu theo cột
- Truy vấn nhanh các tập con cột
Có cấu trúc, schema được định nghĩa
- Trường và kiểu dữ liệu rõ ràng
- Rất hợp cho dữ liệu văn bản lộn xộn
Được ngành chấp nhận rộng rãi
- Kỹ năng đáng có! 😃

Định dạng file Parquet

Các phương thức read của PySpark

# JSON
spark.read.json('example.json')

# CSV hoặc file phân tách
spark.read.csv('example.csv')

# Parquet
spark.read.parquet('example.parq')

# Đọc file parquet vào PySpark DataFrame
df = spark.read.parquet('example.parq')

Feature Engineering với PySpark