Wprowadzenie do Databricks Lakehouse

Koncepcje Databricks

Kevin Barlow

Data Analytics Practitioner

Hurtownia danych

Hurtownia danych

Zalety

  • Doskonała do danych strukturalnych
  • Wysoka wydajność
  • Łatwe utrzymanie jakości danych

Wady

  • Bardzo kosztowna
  • Nie wspiera nowoczesnych aplikacji
  • Nie jest przystosowana do uczenia maszynowego

Hurtownia danych

1 https://www.databricks.com/blog/2021/05/19/evolution-to-the-data-lakehouse.html
Koncepcje Databricks

Data Lake

Obraz Data Lake

Data Lake

Zalety

  • Obsługa wszystkich przypadków użycia
  • Duża elastyczność
  • Niskie koszty

Wady

  • Dane mogą stać się nieuporządkowane
  • Historycznie niska wydajność
1 https://www.databricks.com/blog/2021/05/19/evolution-to-the-data-lakehouse.html
Koncepcje Databricks

Narodziny Lakehouse

Hurtownia danych i Data Lake

1 https://www.databricks.com/blog/2021/05/19/evolution-to-the-data-lakehouse.html
Koncepcje Databricks

Narodziny Lakehouse

Narodziny architektury Lakehouse

1 https://www.databricks.com/blog/2021/05/19/evolution-to-the-data-lakehouse.html
Koncepcje Databricks

Databricks Lakehouse

Platforma Databricks Lakehouse

  • Jedna platforma dla wszystkich zadań z danymi
  • Oparta na technologiach open source
  • Środowisko współpracy
  • Uproszczona architektura

Diagram wysokopoziomowy Databricks Lakehouse

1 https://www.databricks.com/blog/2021/05/19/evolution-to-the-data-lakehouse.html
Koncepcje Databricks

Zalety architektury Databricks

Unifikacja

  • Każdy przypadek użycia – od AI po BI
  • Zalety hurtowni danych i data lake

Zunifikowane aplikacje analityczne

Multi-Cloud

  • Potężna platforma blisko danych
  • Brak uzależnienia od konkretnej chmury

Wiele chmur

Koncepcje Databricks

Zalety Databricks w zakresie rozwoju

Współpraca

  • Każda rola związana z danymi
  • Praca na tej samej platformie w czasie rzeczywistym

Zespół współpracujący

Open Source

  • Oparta na Apache Spark
  • Obsługa najpopularniejszych języków (Python, R, Scala, SQL)

Open Source

Koncepcje Databricks

Czas na ćwiczenia!

Koncepcje Databricks

Preparing Video For Download...