La API TaskFlow

Creación de canalizaciones de datos con Airflow

Volker Janz

Senior Developer Advocate at Astronomer

El enfoque clásico

def extract_data():
    return {"users": 150, "events": 4200}


with DAG("etl_pipeline") as dag:
    t1 = PythonOperator(task_id="extract",
                        python_callable=extract_data)
    t2 = PythonOperator(task_id="summary",
                        python_callable=print_summary)

    t1 >> t2

El enfoque TaskFlow

from airflow.sdk import dag, task


@dag
def etl_pipeline():
    @task
    def extract_data():
        return {"users": 150}


    data = extract_data()
    print_summary(data)

¿Por qué TaskFlow?

Menos boilerplate: los decoradores sustituyen instancias de operadores
Dependencias implícitas: los valores devueltos conectan tareas automáticamente
Legible: el Dag se lee como un script de Python
Los operadores clásicos siguen disponibles para integraciones de proveedores

TaskFlow API - visual

Interfaz de Airflow: vista de cuadrícula

Vista de cuadrícula de Airflow

Cada columna es una ejecución de Dag
Cada fila es una tarea
Los colores muestran el estado: verde = correcto, rojo = con error
Haz clic en un cuadrado para ver logs y detalles

Interfaz de Airflow: vista de grafo

Vista de grafo de Airflow

Se centra en una única ejecución de Dag
Muestra las dependencias y la ejecución en paralelo
Ajusta los detalles en la configuración

Interfaz de Airflow: versionado de Dag

Indicador de versión de Dag en la interfaz de Airflow

Detecta cambios estructurales automáticamente
Cada ejecución enlaza a la versión activa en ese momento
Encuentra las versiones en el panel de detalles del Dag

¡Vamos a practicar!

Creación de canalizaciones de datos con Airflow