Tips mengatur ukuran cluster

Membersihkan Data dengan PySpark

Mike Metzger

Data Engineering Consultant

Opsi konfigurasi

  • Spark memiliki banyak pengaturan konfigurasi
  • Ini dapat diubah sesuai kebutuhan
  • Membaca pengaturan konfigurasi:
    spark.conf.get(<configuration name>)
  • Menulis pengaturan konfigurasi
    spark.conf.set(<configuration name>)
Membersihkan Data dengan PySpark

Jenis Cluster

Opsi deployment Spark:

  • Single node
  • Standalone
  • Dikelola
    • YARN
    • Mesos
    • Kubernetes
Membersihkan Data dengan PySpark

Driver

  • Penugasan tugas
  • Konsolidasi hasil
  • Akses data bersama

Tips:

  • Node driver sebaiknya punya memori dua kali lipat dibanding worker
  • Media penyimpanan lokal cepat sangat membantu
Membersihkan Data dengan PySpark

Worker

  • Menjalankan tugas sebenarnya
  • Idealnya memiliki semua kode, data, dan sumber daya untuk tugas tersebut

Rekomendasi:

  • Lebih banyak node worker sering lebih baik daripada worker yang lebih besar
  • Uji untuk menemukan keseimbangan
  • Media penyimpanan lokal cepat sangat bermanfaat
Membersihkan Data dengan PySpark

Ayo berlatih!

Membersihkan Data dengan PySpark

Preparing Video For Download...