Faza przesłuchania: jakość danych

AI dla analityków danych

Andy Cotgreave

Author and Speaker, Former Technical Evangelist at Tableau

Zwykli podejrzani

data_quality_issues1.jpg

AI dla analityków danych

Trudniejsze problemy w zasięgu AI

data_quality_issues2.jpg

AI dla analityków danych

Rozmyte duplikaty

 

  • Tradycyjnie: ręcznie tworzone reguły, które trzeba utrzymywać w nieskończoność
  • AI: sama tworzy logikę dopasowania i wnosi rozumienie semantyczne

 

  • Wynik → zapytanie lub grupowanie, które możesz odczytać i dostosować

fuzzy_duplicates.png

AI dla analityków danych

Naruszenia kolejności czasowej

time_order.jpg

  • Tradycyjnie: piszesz zapytanie SQL porównujące znaczniki czasu
  • AI: opisujesz, co nie powinno się zdarzyć → AI pisze zapytanie
AI dla analityków danych

Sprzeczności logiczne

logical_inconsistencies.jpg

 

  • Tradycyjnie: tabele referencyjne — trzeba je stale utrzymywać
  • AI: wiedza o świecie — dane referencyjne niepotrzebne
AI dla analityków danych

Przesłuchaj pracę AI

 

  • AI to nie magia — generuje zapytania, kod lub reguły
  • Ta praca może być błędna: zły regex, wymyślona reguła biznesowa

ai_interrogation.jpg

AI dla analityków danych

Naprawa problemów

clean_data1.jpg

clean_data2.jpg

AI dla analityków danych

Czas na praktykę!

AI dla analityków danych

Preparing Video For Download...