Dlaczego Lakehouse?

Wprowadzenie do Databricks Lakehouse

Gang Wang

Senior Data Scientist

Czego się nauczysz

$$

$$

stacked-lockup-full-color-rgb-1200x669-0d49921.png

$$

Poznaj Databricks Lakehouse

  1. Jak dane są organizowane w lakehouse
  2. Jak zarządzać obliczeniami i notebookami
  3. Jak nadzorować dane i bezpiecznie je udostępniać
  4. Jak wdrażać swoją pracę do środowiska produkcyjnego
Wprowadzenie do Databricks Lakehouse

Poznaj instruktora

       

Gang Wang

  • Starszy data scientist

  • Origin Energy, Australia (2021–obecnie)

  • Ponad 9 lat doświadczenia po doktoracie

       

Wprowadzenie do Databricks Lakehouse

Obietnica data lake

$$

recraft: half: Duży otwarty magazyn wypełniony kolorowymi beczkami i skrzyniami różnych rozmiarów — symbol przechowywania różnorodnych surowych danych

$$

  • Przechowuj dowolne dane niskim kosztem
  • Dane ustrukturyzowane, półustrukturyzowane i nieustrukturyzowane
  • Elastyczny schemat na etapie odczytu
Wprowadzenie do Databricks Lakehouse

Ciemna strona data lake

$$

  • Brak gwarancji jakości danych
  • Brak wbudowanego zarządzania i kontroli dostępu
  • „Bagno danych" — trudno znaleźć wiarygodne dane
  • Oddzielne narzędzia do analityki i AI

$$

recraft: half: Ciemne, mętne bagno z wikłającymi się lianami i plikami tonącymi w błotnistej wodzie — symbol bagna danych z zagubionymi i niewiarygodnymi danymi

Wprowadzenie do Databricks Lakehouse

Kompromisy hurtowni danych

$$

  • Niezawodny i wydajny
  • Silne zarządzanie danymi
  • Ale kosztowny i mało elastyczny
  • Obsługuje wyłącznie dane ustrukturyzowane

$$

recraft: half: Schludna, uporządkowana biblioteka z książkami starannie ułożonymi na półkach — symbol niezawodnego, ustrukturyzowanego przechowywania danych

Wprowadzenie do Databricks Lakehouse

Oto Lakehouse

$$

comparison: Data Lake, elastyczne, tanie, nieustrukturyzowane | Data Warehouse, niezawodne, zarządzane, mało elastyczne

Wprowadzenie do Databricks Lakehouse

Co sprawia, że Databricks działa?

$$

  • Otwarte formaty plików (Delta Lake)
  • Transakcje ACID na lake
  • Zunifikowane zarządzanie (Unity Catalog)
  • Jedna platforma do analityki, AI i aplikacji

$$

nanobanana: half: Cztery ułożone klocki tworzące wieżę, oznaczone od dołu do góry: Otwarte formaty (Delta Lake), Transakcje ACID, Zunifikowane zarządzanie (Unity Catalog), Jedna platforma do analityki i AI — przejrzysta, nowoczesna infografika

Wprowadzenie do Databricks Lakehouse

Lakehouse poprawia jakość danych

$$

flowchart: Surowe dane, wymuszanie schematu, transakcje ACID, zarządzane i wiarygodne

$$

  • Wymuszanie schematu podczas zapisu
  • Dzienniki transakcji śledzą każdą zmianę
  • Podróż w czasie — zapytania do historycznych wersji danych
Wprowadzenie do Databricks Lakehouse

Podsumowanie

$$

  • Data lake — elastyczne, lecz zawodne
  • Hurtownia danych — niezawodna, lecz sztywna i kosztowna
  • Lakehouse — łączy obie cechy, jedna platforma
  • Oparte na Delta Lake, ACID i Unity Catalog
Wprowadzenie do Databricks Lakehouse

Czas na praktykę!

Wprowadzenie do Databricks Lakehouse

Preparing Video For Download...