Orchestration dans Databricks

Concepts de Databricks

Kevin Barlow

Data Analytics Practitioner

Qu'est-ce que l'orchestration des données ?

Ingénieur·e de données

Elle permet aux ingénieurs de données d'automatiser tout le cycle de vie des données

Databricks Workflows regroupe des fonctions intégrées pour orchestrer tous vos traitements de données, sans frais supplémentaires !

Exemple de flux de travail Databricks

Schéma Databricks Workflows

¹ https://docs.databricks.com/workflows

Tâches d'orchestration - DE / DS

Tâches d'orchestration - DA

On peut créer des tâches directement dans l'interface Databricks :

Interface des tâches Databricks

¹ https://docs.databricks.com/workflows/jobs

On peut aussi créer des tâches par programmation à l'aide du Jobs CLI ou de l'API Jobs de la plateforme Databricks.

{
  "name": "A multitask job",
  "tags": {},
  "tasks": [],
  "job_clusters": [],
  "format": "MULTI_TASK",
}

Schéma Delta Live Tables

Schéma Delta Live Tables

Schéma Delta Live Tables

Concepts de Databricks