Ingeniería de datos y macrodatos (big data)

Comprender la ingeniería de datos

Hadrien Lacroix

Content Developer at DataCamp

Sobre el curso

• Curso conceptual
• Sin codificación
• Objetivos
  • Ser capaz de comunicarse y colaborar eficazmente con ingenieros de datos
  • Proporcionar una base sólida para aprender más

Capítulo 1

¿Qué es la ingeniería de datos?

1. Ingeniería de datos y macrodatos (big data)
2. Ingenieros de datos frente a científicos de datos
3. Canalizaciones de datos

Capítulo 2

Cómo funciona el almacenamiento de datos

1. Datos estructurados frente a datos no estructurados
2. SQL
3. Almacén de datos y lagos de datos

Capítulo 3

Cómo trasladar y procesar datos

1. Procesamiento de datos
2. Programación de datos
3. Computación paralela
4. Computación en la nube

$$

$$

$$

Flujo de trabajo de datos

Flujo de trabajo de datos

Flujo de trabajo de datos

Flujo de trabajo de datos

Ingenieros de datos

Ingenieros de datos

Los ingenieros de datos proporcionan:

• los datos correctos
• en la forma correcta
• a las personas adecuadas
• con la mayor eficacia posible

Responsabilidades de un ingeniero de datos

• Ingesta de datos de diferentes fuentes
• Optimizar las bases de datos para el análisis
• Eliminar datos corruptos
• Desarrollar, construir, probar y mantener arquitecturas de datos

Ingenieros de datos y macrodatos (big data)

• Los macrodatos se convierten en la norma =>

Ingenieros de datos y macrodatos (big data)

• Los macrodatos se convierten en la norma => cada vez se necesitan más ingenieros de datos
• Macrodatos:
  • Hay que pensar cómo hacer frente a su tamaño.
  • Los grandes métodos tradicionales ya no funcionan.

Incremento de los macrodatos

• Sensores y dispositivos
• Redes sociales
• Datos de empresa
• VoIP (comunicación de voz, sesiones multimedia)

¹ Data Age 2025, Seagate, noviembre de 2018

Las cinco V

• Volumen (¿cuánto?)
• Variedad (¿de qué tipo?)
• Velocidad (¿con qué frecuencia?)
• Veracidad (¿qué fiabilidad?)
• Valor (¿hasta qué punto es útil?)

Resumen

• Qué puedes esperar
• Cómo fluyen los datos en una organización
• Cuándo interviene un ingeniero de datos
• Cuáles son sus responsabilidades
• Cómo se relaciona la ingeniería de datos con el big data

¡Vamos a practicar!

Comprender la ingeniería de datos