Audyt danych

Odpowiedzialne zarządzanie danymi w AI

Maria Prokofieva

Lead ML engineer

Co omówimy

  • Audyt danych
  • Walidacja danych
  • Strategie ograniczania stronniczości

Audyt danych

Odpowiedzialne zarządzanie danymi w AI

Audyt danych

  • Kompleksowy przegląd danych przez cały cykl życia projektu

  • Ocena stanu technicznego i odpowiedzialnego wykorzystania

  • Przeprowadzany po istotnych zmianach w projekcie

  • Aktualizacja dokumentacji audytu

przepływ pracy modelu

Odpowiedzialne zarządzanie danymi w AI

Przeprowadzanie audytów danych

  • Przeprowadzany regularnie
  • Zapobieganie niezamierzonemu wprowadzaniu błędów
  • Ochrona przed komplikacjami i narastaniem błędów
  • Zachowanie przejrzystości i odpowiedzialności
  • Budowanie zaufania

Pracownicy analizujący wykresy z lupą

Odpowiedzialne zarządzanie danymi w AI

Doradca finansowy AI

  • Profil zachowań i cele planu
  • Opracowanie strategii
  • Dopasowanie celów do produktów inwestycyjnych
  • Tworzenie portfela inwestycyjnego

doradca finansowy

Źródła danych:

  • Dane użytkownika z czatu i przesłanych plików
  • Zewnętrzne dane w czasie rzeczywistym i historyczne (Bloomberg)
1 Obraz: Streamline HQ
Odpowiedzialne zarządzanie danymi w AI

Źródła danych projektu

  • Dane dostarczone przez użytkownika
  • Dane zewnętrzne z API

źródła danych

1 Obraz: Streamline HQ
Odpowiedzialne zarządzanie danymi w AI

Konfiguracja audytu danych

Użyj planu zarządzania danymi:

  • Szczegóły dotyczące danych
  • Częstotliwość audytów
  • Wymagane testy
  • Przydzieleni członkowie zespołu

plan audytu danych

1 Obraz: Streamline HQ
Odpowiedzialne zarządzanie danymi w AI

Harmonogram audytów danych

  • Wstępna eksploracja danych
  • Regularne audyty przed przetwarzaniem i modelowaniem
  • Wszelkie istotne zmiany w danych

harmonogram audytów danych

1 Obraz: Streamline HQ
Odpowiedzialne zarządzanie danymi w AI

Bieżące audyty danych

  • Regularne ciągłe monitorowanie
  • Jakość danych i zgodność
  • Wydajność modelu i metryki sprawiedliwości
  • Wykorzystanie i przechowywanie danych
  • Bezpieczeństwo i skalowalność

Pracownicy monitorujący dane

Odpowiedzialne zarządzanie danymi w AI

Dryft modelu

  • Model może z czasem tracić dokładność
  • Zmiany społeczne, warunki rynkowe lub zmienne bazowe
  • Wykrywanie dryftu przez rejestrowanie prognoz i ocenę metryk
  • Alert przy przekroczeniu progu metryki
  • Naprawa: weryfikacja nowych danych lub ponowne trenowanie modelu
Odpowiedzialne zarządzanie danymi w AI

Audyty danych dla doradcy finansowego AI

  • Wstępna eksploracja danych
  • Przetwarzanie wstępne: transformacje i czyszczenie
  • Modelowanie z oceną sprawiedliwości
  • Audyt przed wdrożeniem
  • Ciągłe monitorowanie

audyty danych w projekcie

1 Obraz: Streamline HQ
Odpowiedzialne zarządzanie danymi w AI

Czas na ćwiczenia!

Odpowiedzialne zarządzanie danymi w AI

Preparing Video For Download...