Mengapa Lakehouse?

Pengantar Databricks Lakehouse

Gang Wang

Senior Data Scientist

Apa yang akan Anda pelajari

$$

$$

logo Databricks berwarna penuh

$$

Jelajahi Databricks Lakehouse

  1. Cara data diatur dalam lakehouse
  2. Cara mengelola compute dan notebook
  3. Cara mengatur dan berbagi data dengan aman
  4. Cara menerapkan kerja Anda ke produksi
Pengantar Databricks Lakehouse

Kenali Instruktur

       

Gang Wang

  • Senior Data Scientist

  • Origin Energy, Australia (2021–sekarang)

  • Pengalaman pascadoktoral 9+ tahun

       

Pengantar Databricks Lakehouse

Janji data lake

$$

recraft: half: Gudang besar terbuka berisi banyak barel dan peti berwarna-warni berbagai ukuran, melambangkan penyimpanan data mentah yang beragam

$$

  • Simpan data apa pun dengan biaya rendah
  • Terstruktur, semi-terstruktur, tidak terstruktur
  • Fleksibel dengan schema-on-read
Pengantar Databricks Lakehouse

Sisi gelap lake

$$

  • Tanpa jaminan kualitas data
  • Tidak ada tata kelola atau kontrol akses bawaan
  • "Data swamp" – sulit menemukan data tepercaya
  • Alat terpisah dibutuhkan untuk analitik dan AI

$$

recraft: half: Rawa gelap dan keruh dengan sulur kusut dan berkas-berkas tenggelam ke lumpur, melambangkan data swamp dengan data hilang dan tak andal

Pengantar Databricks Lakehouse

Pertukaran di warehouse

$$

  • Andal dan cepat
  • Tata kelola kuat
  • Namun mahal dan kaku
  • Hanya untuk data terstruktur

$$

recraft: half: Perpustakaan rapi dan teratur dengan buku tersusun rapi di rak, melambangkan penyimpanan data terstruktur yang andal

Pengantar Databricks Lakehouse

Hadirnya Lakehouse

$$

perbandingan: Data Lake, Fleksibel, Murah, Tidak Terstruktur | Data Warehouse, Andal, Diatur, Kaku

Pengantar Databricks Lakehouse

Mengapa berhasil di Databricks?

$$

  • Format file terbuka (Delta Lake)
  • Transaksi ACID di lake
  • Tata kelola terpadu (Unity Catalog)
  • Satu platform untuk analitik, AI, dan aplikasi

$$

nanobanana: half: Empat balok bertingkat membentuk menara, berlabel dari bawah ke atas: Open Formats (Delta Lake), ACID Transactions, Unified Governance (Unity Catalog), One Platform for Analytics and AI, gaya infografik modern yang bersih

Pengantar Databricks Lakehouse

Lakehouse meningkatkan kualitas data

$$

diagram alir: Data Mentah, Penegakan Skema, Transaksi ACID, Diatur dan Tepercaya

$$

  • Penegakan skema saat penulisan
  • Log transaksi melacak setiap perubahan
  • Time travel – kueri versi historis
Pengantar Databricks Lakehouse

Ringkasan

$$

  • Data lake – fleksibel tapi tak andal
  • Data warehouse – andal tapi kaku dan mahal
  • Lakehouse – menggabungkan keduanya, satu platform
  • Didukung oleh Delta Lake, ACID, dan Unity Catalog
Pengantar Databricks Lakehouse

Ayo berlatih!

Pengantar Databricks Lakehouse

Preparing Video For Download...