Bases de datos y controles de calidad

Descifrando la Decision Science

Howard Friedman

Adjunct Professor at Columbia University

Triaje de fuentes de datos

No todos los datos son igual de útiles

  • Algunos conjuntos requieren mucha limpieza o carecen de variables útiles
  • Otros quizá no compensen el esfuerzo

 

El triaje de datos ayuda a priorizar rápido

  • Evalúa si un dataset es viable antes de invertir tiempo y recursos

Empieza por la disponibilidad

  • ¿Es fácil acceder a los datos o hay paywall?
  • ¿Hay barreras de permisos o seguridad?
  • Resolver esto temprano evita esfuerzos perdidos

triage.png

Descifrando la Decision Science

Controles clave

Considera costos

  • ¿Hay licencias o tarifas de acceso?
  • ¿Pagarás almacenamiento o herramientas especializadas?

Evalúa utilidad

  • ¿El dataset tiene lo que necesitas para el análisis?
  • Revisa alcance, detalle, completitud y relevancia de variables

Comprueba la frecuencia de actualización

  • Predicciones en tiempo real necesitan datos en tiempo real o actualizados regularmente
  • Ciclos desalineados pueden volver los datos inservibles

Evalúa la resolución geográfica

  • ¿Los datos se alinean con el nivel espacial que tu análisis requiere?
  • Datos a nivel nacional no sirven si necesitas detalle por código postal
Descifrando la Decision Science

Controles de calidad de datos

La calidad de los datos importa

  • Datos malos arruinan modelos y decisiones
  • "Basura entra, basura sale" es un riesgo real en ciencia de decisiones

GIGO.png

Atento a los faltantes

  • Porcentaje de valores ausentes por columna
  • Patrones que indiquen problemas de recolección

Haz verificaciones de rango básicas

  • ¿Hay valores que no tienen sentido en tu contexto?
  • Ejemplos: age = 450 o price = -$10
  • Usa controles para detectar problemas grandes temprano
Descifrando la Decision Science

Más controles

Revisa outliers

  • Usa histogramas o boxplots para visualizarlos
  • Coméntalo con stakeholders antes de excluir nada

Evalúa la actualidad

  • ¿Tus datos son lo bastante recientes para ser relevantes?
  • En contextos rápidos, se necesitan datos actualizados con frecuencia

Asegura formato consistente

  • Detecta formatos de fecha inconsistentes, errores ortográficos o nombres de columnas que no coinciden
  • Limpia y estandariza para evitar problemas en el análisis

QA.png

Descifrando la Decision Science

¡Vamos a practicar!

Descifrando la Decision Science

Preparing Video For Download...