Orkiestracja w Databricks

Koncepcje Databricks

Kevin Barlow

Data Analytics Practitioner

Czym jest orkiestracja danych?

  • Orkiestracja danych to forma automatyzacji!

Inżynier danych

  • Umożliwia inżynierom danych automatyzację całego cyklu życia danych
Koncepcje Databricks

Databricks Workflows

Databricks Workflows to zestaw wbudowanych funkcji do orkiestracji wszystkich procesów danych — bez dodatkowych kosztów!

Przykładowy przepływ pracy Databricks

Diagram Databricks Workflows

1 https://docs.databricks.com/workflows
Koncepcje Databricks

Co możemy orkiestrować?

Inżynierowie/naukowcy danych

Zadania orkiestracji – DE / DS

Analitycy danych

Zadania orkiestracji – DA

Koncepcje Databricks

Databricks Jobs

Interfejs Workflows UI

Użytkownicy mogą tworzyć zadania bezpośrednio z poziomu interfejsu Databricks:

  • Bezpośrednio z notatnika
  • W sekcji Workflows

Interfejs Databricks Jobs UI

1 https://docs.databricks.com/workflows/jobs
Koncepcje Databricks

Databricks Jobs

Programowe tworzenie zadań

Użytkownicy mogą również programowo tworzyć zadania przy użyciu Jobs CLI lub Jobs API w platformie Databricks.

{
  "name": "A multitask job",
  "tags": {},
  "tasks": [],
  "job_clusters": [],
  "format": "MULTI_TASK",
}
Koncepcje Databricks

Delta Live Tables

Diagram Delta Live Tables

Koncepcje Databricks

Delta Live Tables

Diagram Delta Live Tables

Koncepcje Databricks

Delta Live Tables

Diagram Delta Live Tables

Koncepcje Databricks

Czas na ćwiczenia!

Koncepcje Databricks

Preparing Video For Download...