Fitur inti Databricks Lakehouse Platform

Konsep Databricks

Kevin Barlow

Data Practitioner

Apache Spark

Apache Spark adalah kerangka kerja pemrosesan data open-source dan merupakan mesin di balik Databricks.

Kursus DataCamp

  • Pengantar PySpark
  • Dasar-dasar Big Data dengan PySpark
  • Pembersihan Data dengan PySpark
  • Machine Learning dengan PySpark
  • Pengantar Spark SQL di Python
Konsep Databricks

Manfaat Spark

Manfaat utama:

  1. Kerangka kerja open-source yang dapat diperluas dan fleksibel
  2. Komunitas pengembang besar
  3. Performa tinggi
  4. Optimasi dari Databricks

Diagram Klaster Spark

1 https://spark.apache.org/docs/latest/cluster-overview.html
Konsep Databricks

Dasar-dasar komputasi cloud

Komputasi Klasik

Komputasi Cloud

Konsep Databricks

Komputasi Databricks

Cluster

  • Kumpulan sumber daya komputasi
  • Semua beban kerja, semua use case
  • Serbaguna vs. Jobs

Bahasa yang Didukung Databricks

SQL Warehouse

  • Hanya SQL
  • Use case BI
  • Photon

Bahasa SQL

Konsep Databricks

Penyimpanan data cloud

Penyimpanan data cloud - DB

Penyimpanan data cloud - file

Konsep Databricks

Delta

Logo Delta Lake

Delta adalah format file penyimpanan data open-source, dan menyediakan:

  • Transaksi ACID
  • Batch dan streaming terpadu
  • Evolusi skema
  • Riwayat tabel
  • Time-travel
1 delta.io
Konsep Databricks

Unity Catalog

Unity Catalog adalah strategi tata kelola data terbuka yang mengontrol akses ke semua aset data di platform Databricks Lakehouse.

  • Pernyataan SQL GRANT, REVOKE untuk mengontrol akses
  • Antarmuka sederhana untuk tata kelola

Katalog Data

Konsep Databricks

UI Databricks

Dirancang agar akses kemampuan sesuai beban kerja data Anda lebih mudah.

  • Semua pengguna dapat mengakses data dan komputasi
  • Pengguna SQL mendapat antarmuka familier untuk kueri dan laporan
  • Data engineer memanfaatkan Delta Live Tables
  • Beban kerja Machine Learning memakai model, fitur, dan lainnya

Menu Databricks

Konsep Databricks

Mari meninjau!

Konsep Databricks

Preparing Video For Download...