Mẹo xác định kích thước cụm

Làm sạch dữ liệu với PySpark

Mike Metzger

Data Engineering Consultant

Tùy chọn cấu hình

  • Spark có nhiều thiết lập cấu hình
  • Có thể điều chỉnh theo nhu cầu
  • Đọc cấu hình:
    spark.conf.get(<configuration name>)
  • Ghi cấu hình
    spark.conf.set(<configuration name>)
Làm sạch dữ liệu với PySpark

Loại cụm

Tùy chọn triển khai Spark:

  • Single node
  • Standalone
  • Managed
    • YARN
    • Mesos
    • Kubernetes
Làm sạch dữ liệu với PySpark

Driver

  • Phân công tác vụ
  • Hợp nhất kết quả
  • Truy cập dữ liệu dùng chung

Mẹo:

  • Nút driver nên có gấp đôi bộ nhớ so với worker
  • Lưu trữ cục bộ nhanh sẽ hữu ích
Làm sạch dữ liệu với PySpark

Worker

  • Thực thi các tác vụ
  • Lý tưởng là có đủ mã, dữ liệu và tài nguyên cho tác vụ

Khuyến nghị:

  • Nhiều worker thường tốt hơn worker lớn
  • Kiểm thử để tìm điểm cân bằng
  • Lưu trữ cục bộ nhanh rất hữu ích
Làm sạch dữ liệu với PySpark

Hãy luyện tập!

Làm sạch dữ liệu với PySpark

Preparing Video For Download...