Развёртывание модели

Проектирование рабочих процессов машинного обучения на Python

Dr. Chris Anagnostopoulos

Honorary Associate Professor

Объект конвейера модели, включающий отбор признаков, выбор и настройку модели, а также её обучение, передаётся в производственный конвейер для получения предсказаний.

Проектирование рабочих процессов машинного обучения на Python

Сериализация модели

Сохранение классификатора в файл:

import pickle
clf = RandomForestClassifier().fit(X_train, y_train)
with open('model.pkl', 'wb') as file:
    pickle.dump(clf, file=file)

Загрузка из файла:

with open('model.pkl', 'rb') as file:
    clf2 = pickle.load(file)
Проектирование рабочих процессов машинного обучения на Python

Сериализация конвейера

Среда разработки:

vt = SelectKBest(f_classif).fit(
    X_train, y_train)
clf = RandomForestClassifier().fit(
    vt.transform(X_train), y_train)
with open('vt.pkl', 'wb') as file: 
     pickle.dump(vt)
with open('clf.pkl', 'wb') as file: 
     pickle.dump(clf)

Рабочий процесс, при котором объект отбора признаков и обученная модель передаются в продакшн по отдельности.

Проектирование рабочих процессов машинного обучения на Python

Сериализация конвейера

Производственная среда:

with open('vt.pkl', 'rb') as file: 
    vt = pickle.load(vt)
with open('clf.pkl', 'rb') as file: 
    clf = pickle.load(clf)
clf.predict(vt.transform(X_new))

Рабочий процесс, при котором объект отбора признаков и обученная модель передаются в продакшн по отдельности.

Проектирование рабочих процессов машинного обучения на Python

Сериализация конвейера

Среда разработки:

pipe = Pipeline([
    ('fs', SelectKBest(f_classif)), 
    ('clf', RandomForestClassifier())
])
params = dict(fs__k=[2, 3, 4],
    clf__max_depth=[5, 10, 20])
gs = GridSearchCV(pipe, params)
gs = gs.fit(X_train, y_train)

with open('pipe.pkl', 'wb') as file:
    pickle.dump(gs, file)

Оптимизированный рабочий процесс, при котором отбор признаков и обучение модели объединены в едином объекте конвейера.

Проектирование рабочих процессов машинного обучения на Python

Сериализация конвейера

Производственная среда:

with open('pipe.pkl', 'rb') as file:
   gs = pickle.dump(gs, file)
gs.predict(X_test)

Оптимизированный рабочий процесс, при котором отбор признаков и обучение модели объединены в едином объекте конвейера.

Проектирование рабочих процессов машинного обучения на Python

Пользовательские преобразования признаков

   checking_status  duration       ...        own_telephone  foreign_worker
0                1         6       ...                    1               1
1                0        48       ...                    0               1

def negate_second_column(X):
    Z = X.copy()
    Z[:,1] = -Z[:,1]
    return Z

pipe = Pipeline([('ft', FunctionTransformer(negate_second_column)), 
    ('clf', RandomForestClassifier())])
Проектирование рабочих процессов машинного обучения на Python

Готово к продакшну!

Проектирование рабочих процессов машинного обучения на Python

Preparing Video For Download...