Registrando experimentos no MLflow

Machine Learning de ponta a ponta

Joshua Stapleton

Machine Learning Engineer

MLflow

Sem MLflow...

Muitas execuções sem rastreio e bagunçadas
Execuções diferentes, difíceis de comparar
Execuções irreplicáveis, perdidas

Com MLflow...

Execuções rastreadas e organizadas
Comparação entre execuções padronizadas
Execuções reproduzíveis
Compartilhar e implantar modelos

Criando experimentos

mlflow.set_experiment()

Define o nome do experimento
Fornece o workspace das execuções

Uso:

import mlflow

# Defina um nome de experimento, o workspace das suas execuções
mlflow.set_experiment("Heart Disease Classification")

Executando experimentos

# Inicie uma nova execução neste experimento
with mlflow.start_run():
    # Treine um modelo e pegue a acurácia
    logistic_model = LogisticRegression()

    # Registre parâmetros, ex.:
    mlflow.log_param("n_estimators", logistic_model.n_estimators)

    # Registre métricas (acurácia neste caso)
    mlflow.log_metric("accuracy", logistic_model.accuracy)

    # Imprima as métricas
    print("Model accuracy: %.3f" % accuracy)

Model accuracy: 0.96

Recuperando experimentos

mlflow.get_run(run_id)

Metadados de uma execução específica

mlflow.search_runs()

Retorna um DataFrame com métricas de várias execuções

Uso:

# Busque os dados da execução e imprima params
run_data = mlflow.get_run(run_id)
print(run_data.data.params)
print(run_data.data.metrics)

# Pesquise todas as execuções do experimento
exp_id = run_data.info.experiment_id
runs_df = mlflow.search_runs(exp_id)

{'epochs': '20', 'accuracy': 0.95}

UI do MLflow

Painel do experimento no MLflow

Página de experimento no MLflow

UI do MLflow (cont.)

Gráfico de exemplo mostrando melhoria de métrica

Comparação de métricas entre execuções

Recursos do MLflow

Introdução ao MLflow

Site oficial do MLflow

Vamos praticar!

Machine Learning de ponta a ponta