Documentație eficientă pentru ML

Dezvoltarea modelelor de Machine Learning pentru producție

Sinan Ozdemir

Data Scientist, Entrepreneur, and Author

Componentele unei documentații ML excelente

  • Surse de date
  • Scheme de date
  • Metode de etichetare
  • Experimentare + selecție de modele
  • Medii de antrenare
  • Pseudocodul modelului
Dezvoltarea modelelor de Machine Learning pentru producție

Documentarea surselor de date

Ne permite să stabilim procese de evaluare a calității datelor.

Oferă și alte beneficii:

  • Urmărirea provenienței datelor.
  • Evaluarea și îmbunătățirea calității datelor.

surse

Dezvoltarea modelelor de Machine Learning pentru producție

Scheme de date

O structură care descrie organizarea datelor.

Pentru o schemă de baze de date relaționale:

Cheie bază de date Tip de date Ordine date
Person.name string nominal
Person.survey_score integer ordinal

schemă

Dezvoltarea modelelor de Machine Learning pentru producție

Metode de etichetare (pentru clasificare)

Documentarea modului în care am etichetat variabila de răspuns îmbunătățește:

  1. Reproductibilitatea pipeline-ului de antrenare.

  2. Fiabilitatea modelului prin calitatea etichetelor.

  3. Performanța modelului prin îmbunătățirea etichetelor.

selectare

Metodele de etichetare pot evolua în timp.

Dezvoltarea modelelor de Machine Learning pentru producție

Pseudocodul modelului

O reprezentare vizuală a pașilor implicați în construirea modelului de machine learning.

Include adesea:

  • Pași de inginerie a caracteristicilor.
  • Componentele unui pipeline de ansamblu.
  • Exemple de intrări și ieșiri ale modelului.
Dezvoltarea modelelor de Machine Learning pentru producție

Experimentare + selecție de modele

Documentarea procesului de experimentare și selectare a celui mai bun model include:

  • Procesul de dezvoltare a modelului.
  • Modelele luate în considerare.
  • Metricile utilizate.
  • Combinațiile de hiperparametri testate pentru fiecare model.

alegere

Dezvoltarea modelelor de Machine Learning pentru producție

Medii de antrenare

Pentru a documenta mediul de antrenare, trebuie să includem:

  • Pachetele utilizate cu versiunile lor (ex. scikit-learn==1.1.3).
  • Seed-urile aleatoare folosite pentru antrenări nedeterministe (ex. algoritmi de reducere a dimensionalității).

De ce?

  • Posibilitatea de a reproduce rezultatele modelelor de machine learning.
  • Asigurarea consistenței între antrenare și implementarea în producție.
Dezvoltarea modelelor de Machine Learning pentru producție

Să exersăm!

Dezvoltarea modelelor de Machine Learning pentru producție

Preparing Video For Download...