Integrarea datelor

Gestionarea responsabilă a datelor în AI

Maria Prokofieva

Lead ML engineer

Ce vom aborda

• De ce este necesară integrarea
• Beneficiile și complicațiile acesteia
• Pașii integrării datelor

De ce mai multe surse?

• Viziune detaliată și cuprinzătoare
• Plasă de siguranță
• Diversitatea și echitatea datelor
• Explicabilitate, transparență și responsabilitate

Atenție la probleme

• Compromit calitatea datelor
• Introduc inconsistențe
• Amplifică bias-urile
• Reduc reprezentarea
• Complexitatea modelului
• Transparență și explicabilitate reduse

¹ Imagine de Streamline HQ

Pasul 1. Selectarea surselor de date

• Urmați pașii de evaluare
• Evaluați sursele de date
• Set de date mai echilibrat și mai complet

Pasul 2. Alinierea tipurilor de date

• Identificați variabilele comune
• Standardizați denumirile și formatele
• Normalizați datele numerice
• Consolidarea datelor categorice
• Aliniați granularitatea datelor

Pasul 3. Îmbunătățirea reprezentării și reducerea bias-ului

• Ponderare
  • Cunoștințe de domeniu
  • Atribuiți ponderi grupurilor sub- sau suprareprezentate
• Echilibrare
  • Reprezentare egală
  • Supraesantionare sau subesantionare
• Verificări algoritmice
• Analiza lacunelor

Pasul 4. Documentare

• Înregistrări detaliate:
  • Pașii integrării datelor
  • Deciziile luate
• Metadate detaliate:
  • Surse de date
  • Metodologia de colectare
  • Transformările aplicate

Proiect de flux de trafic urban

• Selectați sursele de date
• Identificați caracteristicile comune
• Dezvoltați un Model Unificat de Date

¹ Imagini de Streamline HQ

Proiect de flux de trafic urban

• Utilizați tehnici statistice pentru bias și reprezentare
• Aplicați ajustări de ponderare
• Analiza lacunelor și reponderare
• Documentare

Să exersăm!

Gestionarea responsabilă a datelor în AI