Platform Kecerdasan Data - Komputasi

Pengantar Databricks

Kevin Barlow

Data Practitioner

Mengapa organisasi peduli soal komputasi?

Roda gigi tunggal

Sistem roda gigi

Dibuat oleh para co-founder Databricks
Kerangka open source
Komputasi terdistribusi yang sangat efisien
API untuk Python, SQL, Scala, R
Cocok untuk semua use case:
- dari rekayasa data hingga machine learning dan business intelligence

Lihat beberapa kursus Apache Spark di DataCamp!

Logo Apache Spark

Klasik

Sumber daya komputasi (VM) dibuat di Compute Plane
Databricks menyediakan konfigurasi ke cloud Anda
Kelebihan: komputasi dan keamanan di lingkungan Anda, manfaatkan pool komputasi yang sudah ada, dll.
Kekurangan: waktu mulai lambat

Control Plane Databricks

Serverless

Sumber daya komputasi (VM) dibuat di Control Plane
Databricks memberi akses ke pengguna Anda
Kelebihan: waktu mulai cepat, fitur terbaru, performa paling cepat, Databricks terus meningkatkan performa
Kekurangan(?): komputasi tidak berada di lingkungan Anda

Arsitektur Serverless

Single-node

Kluster single-node

Multi-node

Kluster multi-node

Terpasang di setiap kluster Databricks
- Versi Apache Spark yang dioptimalkan
- Photon untuk kueri SQL lebih cepat
- Pustaka umum (mis. pandas, dplyr, scikit-learn)
- Logika untuk terhubung ke layanan Databricks

Rekomendasi umum: Gunakan versi Runtime Long Term Support (LTS) terbaru

Kluster dengan Databricks Runtime

Pengantar Databricks