Skuteczna dokumentacja ML

Tworzenie modeli uczenia maszynowego na potrzeby produkcji

Sinan Ozdemir

Data Scientist, Entrepreneur, and Author

Elementy doskonałej dokumentacji ML

  • Źródła danych
  • Schematy danych
  • Metody etykietowania
  • Eksperymentowanie i wybór modelu
  • Środowiska trenowania
  • Pseudokod modelu
Tworzenie modeli uczenia maszynowego na potrzeby produkcji

Dokumentowanie źródeł danych

Umożliwia ustanowienie procesów oceny jakości danych.

Oferuje również inne korzyści:

  • Śledzenie pochodzenia danych.
  • Ocena i iteracja jakości danych.

źródła

Tworzenie modeli uczenia maszynowego na potrzeby produkcji

Schematy danych

Struktura opisująca organizację danych.

Dla schematu relacyjnej bazy danych:

Klucz bazy danych Typ danych Porządek danych
Person.name string nominal
Person.survey_score integer ordinal

schemat

Tworzenie modeli uczenia maszynowego na potrzeby produkcji

Metody etykietowania (dla klasyfikacji)

Dokumentowanie sposobu etykietowania zmiennej odpowiedzi zwiększa:

  1. Odtwarzalność potoku trenowania.

  2. Niezawodność modelu dzięki jakości etykiet.

  3. Wydajność modelu dzięki poprawie etykiet.

wybór

Metody etykietowania mogą ewoluować w czasie.

Tworzenie modeli uczenia maszynowego na potrzeby produkcji

Pseudokod modelu

Wizualna reprezentacja etapów budowania modelu uczenia maszynowego.

Często obejmuje:

  • Etapy inżynierii cech.
  • Komponenty potoku zespołowego.
  • Przykładowe dane wejściowe i wyjściowe modelu.
Tworzenie modeli uczenia maszynowego na potrzeby produkcji

Eksperymentowanie i wybór modelu

Dokumentowanie procesu eksperymentowania i wyboru najlepszego modelu obejmuje:

  • Proces tworzenia modelu.
  • Rozważane modele.
  • Użyte metryki.
  • Kombinacje hiperparametrów testowane dla każdego modelu.

wybór

Tworzenie modeli uczenia maszynowego na potrzeby produkcji

Środowiska trenowania

Dokumentując środowisko trenowania, należy uwzględnić:

  • Używane pakiety z wersjami (np. scikit-learn==1.1.3).
  • Losowe ziarna dla niedeterministycznego trenowania (np. algorytmy redukcji wymiarowości).

Dlaczego?

  • Możliwość odtworzenia wyników modeli uczenia maszynowego.
  • Zapewnienie spójności między trenowaniem a wdrożeniem produkcyjnym.
Tworzenie modeli uczenia maszynowego na potrzeby produkcji

Czas na ćwiczenia!

Tworzenie modeli uczenia maszynowego na potrzeby produkcji

Preparing Video For Download...