Hlavní funkce platformy Databricks Lakehouse

Databricks Concepts

Kevin Barlow

Data Practitioner

Apache Spark

Apache Spark je open-source framework pro zpracování dat a je jádrem platformy Databricks.

Kurzy na DataCampu

Introduction to Pyspark
Big Data Fundamentals with Pyspark
Cleaning Data with Pyspark
Machine Learning with Pyspark
Introduction to Spark SQL in Python

Výhody Sparku

Klíčové výhody:

Rozšiřitelný, flexibilní open-source framework
Rozsáhlá komunita vývojářů
Vysoký výkon
Optimalizace Databricks

Schéma clusteru Spark

¹ https://spark.apache.org/docs/latest/cluster-overview.html

Základy cloud computingu

Klasické výpočty

Cloud computing

Databricks Compute

Clustery

Soubor výpočetních prostředků
Všechny úlohy, libovolný případ použití
Víceúčelové vs. úlohy

Podporované jazyky Databricks

SQL Warehouses

Pouze SQL
Případy použití BI
Photon

Jazyk SQL

Cloudové úložiště dat

Cloudové úložiště dat – DB

Cloudové úložiště dat – soubory

Delta

Logo Delta Lake

Delta je open-source formát úložiště dat a nabízí:

Transakce ACID
Jednotné dávkové zpracování a streaming
Vývoj schématu
Historie tabulek
Cestování v čase

¹ delta.io

Unity Catalog

Unity Catalog je otevřená strategie správy dat, která řídí přístup ke všem datovým aktivům v platformě Databricks Lakehouse.

Příkazy SQL GRANT, REVOKE pro řízení přístupu
Jednoduché rozhraní pro správu dat

Datový katalog

Uživatelské rozhraní Databricks

Navrženo pro snadnější přístup k funkcím podle typu datové úlohy.

Všichni uživatelé mají přístup k datům a výpočetním prostředkům
Uživatelé SQL získají známé rozhraní pro dotazy a sestavy
Datoví inženýři využívají Delta Live Tables
Úlohy strojového učení pracují s modely, příznaky a dalšími prvky

Nabídka Databricks

Pojďme si to zopakovat!

Databricks Concepts

Preparing Video For Download...