Herramientas del data engineer

Introducción a la ingeniería de datos

Vincent Vankrunkelsven

Data Engineer, DataCamp

Bases de datos

 

  • Almacenar grandes volúmenes de datos
  • Dar soporte a aplicaciones

 

  • Otras bases se usan para análisis

 

Imagen de una base de datos

Entidad de producto simple

Introducción a la ingeniería de datos

Procesamiento

  • Limpiar datos
  • Agregar datos
  • Unir datos

Imagen que representa procesamiento en paralelo

Introducción a la ingeniería de datos

Procesamiento: un ejemplo

df = spark.read.parquet("users.parquet")

outliers = df.filter(df["age"] > 100)

print(outliers.count())

 

El data engineer entiende las abstracciones.

Introducción a la ingeniería de datos

Planificación

 

  • Planificar jobs con intervalos concretos
  • Resolver dependencias entre jobs

 

Diagrama de tareas de limpieza y unión

JoinProductOrder debe ejecutarse después de CleanProduct y CleanOrder

Introducción a la ingeniería de datos

Herramientas existentes

Bases de datos

Logo de MySQL

Logo de PostgreSQL

Procesamiento

Logo de Spark

Logo de Hive

Planificación

Logo de Airflow

Tux, el pingüino de Linux

Introducción a la ingeniería de datos

Un data pipeline

Imagen de un ejemplo de data pipeline

Introducción a la ingeniería de datos

¡Vamos a practicar!

Introducción a la ingeniería de datos

Preparing Video For Download...