จะเริ่มต้นจากตรงไหน

Feature Engineering with PySpark

John Hogue

Lead Data Scientist, General Mills

ดำดิ่งสู่การวิเคราะห์ทันที

ระวังความเสี่ยงที่ซ่อนอยู่

สัตว์ประหลาด

ตรวจสอบเวอร์ชันของคุณ!

  # return spark version
  spark.version

  # return python version
  import sys
  sys.version_info

ข้อมูลนำเข้าในรูปแบบ Parquet

จัดเก็บแบบคอลัมน์
- คิวรีเฉพาะบางคอลัมน์ได้รวดเร็ว
มีโครงสร้างและสคีมาที่กำหนดชัดเจน
- ระบุฟิลด์และชนิดข้อมูลไว้แล้ว
- เหมาะกับข้อมูลข้อความที่ซับซ้อน
ได้รับการยอมรับในอุตสาหกรรม
- ทักษะที่มีประโยชน์มาก! 😃

รูปแบบไฟล์ Parquet

เมธอด read ของ PySpark

# JSON
spark.read.json('example.json')

# CSV or delimited files
spark.read.csv('example.csv')

# Parquet
spark.read.parquet('example.parq')

# Read a parquet file to a PySpark DataFrame
df = spark.read.parquet('example.parq')

Feature Engineering with PySpark