Calitatea datelor și ingestia

Concepte MLOps

Folkert Stijnman

ML Engineer

Calitatea datelor și ingestia

Ce este calitatea datelor?

• Calitatea datelor măsoară cât de bine servesc datele scopului lor
• Evaluată prin diverse dimensiuni
• Calitatea modelului ML depinde de date

Dimensiunile calității datelor

• Acuratețe
• Completitudine
• Consistență
• Actualitate

Exemple de dimensiuni ale calității datelor

Dimensiune	Întrebare-cheie	Exemplu de problemă
Acuratețe	Datele descriu corect clientul?	Vârsta clientului din date este 18, dar în realitate este 32.
Completitudine	Lipsesc date despre clienți?	Pentru 80% dintre clienți nu avem numele de familie.
Consistență	Definiția clientului este sincronizată în întreaga companie?	Clientul apare activ într-o bază de date, dar inactiv în alta.
Actualitate	Când sunt disponibile datele despre comenzile clientului?	Comenzile sunt sincronizate la sfârșitul zilei și nu sunt disponibile în timp real.

Calitatea scăzută a datelor nu înseamnă sfârșitul proiectului!

Ingestia datelor

Să exersăm!

Concepte MLOps