Rezumat

Construirea pipeline-urilor de date cu Airflow

Volker Janz

Developer Advocate at Astronomer

Ce ai construit

Parcursul cursului: 4 capitole care duc la pipeline-uri de producție

  • Ai creat DAG-uri cu TaskFlow API și ai transmis date cu XCom
  • Ai construit fluxuri dinamice cu task mapping, assets și fluxuri HITL
  • Ai pregătit DAG-uri pentru producție cu reîncercări, operatori deferrabili și teste
  • Ai orchestrat sarcini SQL cu partiții și porți de calitate
Construirea pipeline-urilor de date cu Airflow

Setul tău de instrumente

Capitolul 1: Fundamente

  • @dag, @task, TaskFlow API
  • XCom, .output, transmiterea datelor
  • Versionarea DAG-urilor, strategii de planificare

Capitolul 2: Creare avansată

  • .expand(), .partial(), task mapping dinamic
  • Asset, outlets, schedule=[Asset], planificare bazată pe date
  • {{ ds }}, idempotență, human-in-the-loop

Capitolul 3: Pregătit pentru producție

  • retries, on_failure_callback, alerte de termen-limită
  • deferrable=True, Triggerer
  • DagBag, dag.test(), @task_group

Capitolul 4: Sarcini SQL

  • SQL cu SQLExecuteQueryOperator
  • CronPartitionTimetable, PartitionedAssetTimetable
  • Calitatea datelor, CLI, producționalizarea Airflow
Construirea pipeline-urilor de date cu Airflow

Începe să construiești astăzi

Începe să construiești astăzi

$$

Construirea pipeline-urilor de date cu Airflow

Mult succes!

Construirea pipeline-urilor de date cu Airflow

Preparing Video For Download...