Otomatik deney izleme

Tam Otomatik MLOps

Arturo Opsetmoen Amador

Senior Consultant - Machine Learning

Machine learning doğası gereği deneyseldir

Denenecek çok "kol" var:

Veri dönüşümleri
- Kullanılan özellikler
Eğitim algoritmaları
- Hiperparametre ayarı
Değerlendirme metrikleri
- Precision, recall vb.

Olasılıkların geniş bir uzayı!

Gökyüzündeki yıldızlara doğru yönelmiş birkaç antenin fotoğrafı. Görsel, tamamen keşfetmesi zor, büyük bir alanı simgeliyor.

Manuel Machine Learning iş akışlarının sorunları

Otomasyon eksikliği = manuel ML iş akışlarında sorunlar

Deneyleri ve sonuçları izlemek zor
Zaman ve kaynak israfı
Sonuçları çoğaltmak/paylaşmak zor

Dizüstü bilgisayar karşısında çok sinirli bir veri bilimci görseli.

ML'de otomatik günlükleme

Kaydedilmesi önemli olanlar:

Kod
Ortam
Veri
Parametreler
Metrikler

Günlüklemenin önemi

Günlükleme şunlar için kritiktir:

ML sistemlerinde deneylerin yeniden üretilebilirliği.
Sistem performansını izleme ve bilinçli kararlar alma.
İyileştirme için potansiyel sorunları belirleme.

Yeniden üretilebilirlik şeffaflık sağlar ve sistemlerimize güven inşa etmek için kritik önemdedir.

Otomatik deney izleme sistemi

Günlükleri çalıştırma veya deney başına düzenle ki:

Model eğitim metadatasını gör
Model eğitim çalıştırmalarını karşılaştır
Model eğitim çalıştırmalarını yeniden üret

Bir BT mimarisi şekli. Deney izleme sistemi iki bileşenden oluşur: bir pano kullanıcı arayüzü ve programatik erişim arayüzü. Pano UI, sistem kullanıcıları tarafından erişilir. Programatik erişim, diğer mimari bileşenlerce kullanılır. Deney izleme sistemi, günlükleri depolamadan sorumlu diğer bileşenden günlük yazar ve okur.

Otomatik deney izleme - Günümüz pazarı

Deney izlemeyi otomatikleştiren araçlar:

TensorBoard

MLFlow

Weights & Biases

Neptune

Tensorflow logosu.

$$ Weight & Biases logosu.

Neptune.AI logosu.

Hadi pratik yapalım!

Tam Otomatik MLOps