Integración de datos

Gestión responsable de datos en AI

Maria Prokofieva

Lead ML engineer

Qué veremos

• Por qué es necesaria la integración
• Sus beneficios y complicaciones
• Pasos para integrar datos

¿Por qué usar múltiples fuentes?

• Visión detallada integral
• Red de seguridad
• Diversidad y equidad de datos
• Explicabilidad, transparencia y responsabilidad

Atención a los problemas

• Comprometer la calidad
• Introducir inconsistencias
• Amplificar sesgos
• Reducir la representación
• Aumentar la complejidad del modelo
• Menor transparencia y explicabilidad

¹ Imagen de Streamline HQ

Paso 1. Selección de fuentes

• Seguir los pasos de evaluación
• Evaluar las fuentes de datos
• Conjunto más equilibrado y completo

Paso 2. Alinear tipos de datos

• Identificar variables comunes
• Estandarizar nombres y formatos
• Normalizar datos numéricos
• Unificar datos categóricos
• Alinear la granularidad

Paso 3. Mejorar sesgos y representación

• Ponderación
  • Conocimiento del dominio
  • Asignar pesos a grupos infra/sobrerrepresentados
• Balanceo
  • Representación equitativa
  • Sobre/infra-muestreo
• Controles algorítmicos
• Análisis de brechas

Paso 4. Documentar

• Registros detallados:
  • Pasos de integración
  • Decisiones tomadas
• Metadatos detallados:
  • Fuentes de datos
  • Metodología de recolección
  • Transformaciones aplicadas

Proyecto de flujo de tráfico urbano

• Seleccionar fuentes de datos
• Identificar atributos comunes
• Desarrollar un modelo de datos unificado

¹ Imágenes de Streamline HQ

Proyecto de flujo de tráfico urbano

• Técnicas estadísticas para sesgo y representación
• Aplicar ajustes de ponderación
• Análisis de brechas y reponderación
• Documentar

¡Vamos a practicar!

Gestión responsable de datos en AI