Evaluar soluciones de arquitectura de datos moderna

Comprender la arquitectura de datos moderna

Miller Trujillo

Senior Software Engineer

Ingestión

Solución propuesta con la ingestión resaltada

  • Patrones impredecibles
  • ¿Y si tiramos de los datos?
    • Exponer los archivos
    • Sistema de archivos en red
Comprender la arquitectura de datos moderna

Almacenamiento

Solución propuesta con el almacenamiento resaltado

  • El almacenamiento en la nube es:

    • más barato que un data warehouse o BD
    • Flexible y expone las APIs necesarias

  • ¿BigQuery sigue siendo opción?

    • Lo bastante barato
    • No viable por límites de carga

  • Políticas de ciclo de vida para reducir aún más los costes

Comprender la arquitectura de datos moderna

Procesamiento

Solución propuesta con el procesamiento en streaming resaltado

  • Dataflow, Dataproc (Spark) o Data Fusion
  • Llegadas impredecibles
  • Procesar al llegar
  • Simplicidad
  • Datos temporales
  • Automatizar limpieza con políticas de ciclo de vida
  • Sin mantenimiento de esquemas
Comprender la arquitectura de datos moderna

Procesamiento: el modelo puntúa

Solución propuesta con el procesamiento por lotes resaltado

  • Difícil seguirlo todo
  • Más fácil de mantener
  • El job previo puede escribir en NoSQL y este completar datos
Comprender la arquitectura de datos moderna

Servir los datos

Solución propuesta con el procesamiento por lotes resaltado

  • BigQuery para analítica
  • BD NoSQL => Escala y flexibilidad más fáciles
Comprender la arquitectura de datos moderna

Otros detalles

  • Gobernanza, orquestación, seguridad, etc.
  • Refinar más la plataforma y requisitos
  • Permite mejor gestión
  • No hay talla única

Todo son trade-offs

Comprender la arquitectura de datos moderna

¡Vamos a practicar!

Comprender la arquitectura de datos moderna

Preparing Video For Download...