Création et gestion de tâches

Databricks avec le SDK Python

Avi Steinberg

Senior Software Engineer

Chemin d'un Notebook Databricks

Les tâches Databricks peuvent exécuter du code dans un Notebook Databricks
WorkspaceClient.current_user.me().user_name récupère le nom d'utilisateur de la session
Le chemin d'un notebook est /Users/${username}/${notebook_name}

# Supposons qu'un notebook appelé My_Notebook existe dans l'espace de travail
w = WorkspaceClient()
notebook_path = f'/Users/{w.current_user.me().user_name}/My_Notebook'

Créer une tâche Databricks

WorkspaceClient.jobs.create(createParams)

Fournissez les paramètres name et tasks pour décrire la tâche créée

createParams:
  name: str
  tasks: List[Task]
Task:
  description=str
  notebook_task=NotebookTask
  task_key=str
NotebookTask:
  notebook_path: str

¹ https://databricks-sdk-py.readthedocs.io/en/latest/workspace/jobs/jobs.html

Créer et exécuter une tâche Databricks

from databricks.sdk import WorkspaceClient

# Créer le chemin vers le notebook « My_Notebook »
w = WorkspaceClient()
notebook_path = f'/Users/{w.current_user.me().user_name}/My_Notebook'


# Créer une tâche qui exécute le Datacamp_Test_Notebook
new_job = w.jobs.create(name='sdk-dc-project-task',
                            tasks=[jobs.Task(
                              description="create_notebook_test",
                              notebook_task=jobs.NotebookTask(notebook_path=notebook_path),
                              task_key="my-key")
                            ])
print(f"New Job Id={new_job.job_id}")

w.jobs.run_now(job_id=new_job.job_id).result() # Exécuter la tâche créée

¹ https://docs.databricks.com/en/dev-tools/sdk-python.html

Lister les tâches Databricks

from databricks.sdk import WorkspaceClient
w = WorkspaceClient()
jobs = w.jobs.list()
for job in jobs:
    print(f"JobId={job.job_id}")

JobId=888763141802192
JobId=37050453972815
JobId=681550316180975
JobId=629994089852037

Supprimer une tâche Databricks

WorkspaceClient.jobs.delete(job_id: str)

¹ 1. https://databricks-sdk-py.readthedocs.io/en/latest/workspace/jobs/jobs.html

Supprimer une tâche Databricks

# Préalable : créer le notebook voulu 
# dans le groupe de calcul Databricks
w = WorkspaceClient()
notebook_path = f'/Users/{w.current_user.me().user_name}/My_Notebook'
# Créer une tâche qui exécute le Datacamp_Test_Notebook
new_job = w.jobs.create(name='sdk-dc-project-task',
                            tasks=[
                              jobs.Task(description="create_notebook_test",
                                        existing_cluster_id=cluster_id,
                      notebook_task=jobs.NotebookTask(notebook_path=notebook_path),
                                        task_key="my-key")
                            ])

w.jobs.delete(job_id=new_job.job_id)

¹ 1. https://databricks-sdk-py.readthedocs.io/en/latest/workspace/jobs/jobs.html

Syntaxe cron

Expression cron pour planifier à :

03 h 30 min 00 s chaque jour = 0 30 3 * * ?
14 h 45 min 00 s chaque jour = 0 45 2 * * ?

¹ https://www.quartz-scheduler.org/documentation/quartz-2.3.0/tutorials/crontrigger.html

Planifier une tâche

Nous pouvons planifier l'exécution d'un notebook chaque jour à 3 h

# Créer une tâche qui exécute le Datacamp_Test_Notebook
cron_expression = "0 0 3 * * ?"

created_job = w.jobs.create(
                name='sdk-dc-project-task',
                tasks=[jobs.Task(description="test",

                    notebook_task=jobs.NotebookTask(notebook_path=notebook_path),
                        task_key="my-key")],
                timeout_seconds=3600,

                  schedule=jobs.CronSchedule(quartz_cron_expression=cron_expression,
                                           timezone_id="America/New_York")
               )

¹ https://databricks-sdk-py.readthedocs.io/en/latest/workspace/jobs/jobs.html

Passons à la pratique !

Databricks avec le SDK Python