Ottimizzazione degli iperparametri con DVC

CI/CD per Machine Learning

Ravi Bhadauria

Machine Learning Engineer

Workflow di ottimizzazione degli iperparametri

Ottimizzazione degli iperparametri
- Input: intervalli di ricerca dei parametri
- Output: parametri migliori
Training
- Input: parametri migliori
- Output: metriche e grafici (già visto)
Loose coupling per training indipendente
- L'ottimizzazione è sufficiente ma non necessaria
Entrambi i job dipendono dal dataset

# Contents of hp configuration
{
    "n_estimators": [2, 4, 5],
    "max_depth": [10, 20, 50],
    "random_state": [1993]
}

# Contents of best parameters
{
    "n_estimators": 5,
    "max_depth": 20,
    "random_state": 1993
}

Modifiche al codice di training

Modifiche nello script Python per l'ottimizzazione degli iperparametri

# Load hyperparameters from the JSON file
with open("rfc_best_params.json", "r") as params_file:
  rfc_params = json.load(params_file)


# Define and train model
model = RandomForestClassifier(**rfc_params)
model.fit(X_train, y_train)

Ottimizzazione degli iperparametri con GridSearch

# Define the model and hyperparameter search space
model = RandomForestClassifier()
param_grid = json.load(open("hp_config.json", "r"))


# Perform GridSearch with five fold CV
grid_search = GridSearchCV(model, param_grid, cv=5)
grid_search.fit(X_train, y_train)


# Get the best hyperparameters
best_params = grid_search.best_params_
with open("rfc_best_params.json", "w") as outfile:
        json.dump(best_params, outfile)

Modifiche al file YAML di DVC

Ottimizzazione degli iperparametri

stages:
  preprocess: ...
  train: ...
  hp_tune:
    cmd: python hp_tuning.py
    deps:
    - processed_dataset/weather.csv
    - hp_config.json
    - hp_tuning.py
    outs: # Non si tiene traccia dei parametri migliori
      - hp_tuning_results.md:
          cache: false

Training

stages:
  preprocess: ...
  hp_tune: ...
  train:
    cmd: python train.py
    deps:
    - processed_dataset/weather.csv
    - rfc_best_params.json # Parametri migliori
    - train.py
    metrics:
      - metrics.json:
          cache: false

Eseguire singole stage

Le stage possono essere eseguite in modo indipendente dvc repro <stage_name>
Forza l'esecuzione della stage di ottimizzazione dvc repro -f hp_tune
- Garantisce l'aggiornamento del file dei parametri migliori
Il training può essere eseguito con dvc repro train
Entrambe le stage attivano il preprocessing come dipendenza

Output dell'esecuzione di ottimizzazione degli iperparametri

mean_test_score	std_test_score	max_depth	n_estimators	random_state
0.999733	0.000413118	20	5	1993
0.999307	0.000574418	50	5	1993
0.99888	0.000617378	10	5	1993
0.997813	0.00117333	10	4	1993

Modifiche nello script Python per l'ottimizzazione degli iperparametri

# Save the results of hyperparameter tuning
cv_results = pd.DataFrame(grid_search.cv_results_)
markdown_table = cv_results.to_markdown(index=False)
with open("hp_tuning_results.md", "w") as markdown_file:
  markdown_file.write(markdown_table)

Riepilogo

Percorso con ottimizzazione degli iperparametri
- Nome branch hp_tune/<some-string>
- Modifica la configurazione di ricerca
- Apri manualmente una PR
  - Forza l'esecuzione della pipeline DVC dvc repro -f hp_tune
  - Usa cml pr create per creare una nuova PR di training con i parametri migliori
- Fai un force push a un commit sulla PR di training per avviare il job di training del modello
Percorso manuale
- Nome branch train/<some-string>
- Modifica il file dei parametri migliori e fai commit
- Apri manualmente una PR per avviare il job di training del modello

Esercitiamoci!

CI/CD per Machine Learning