Bereitstellung des Modells

End-to-End Machine Learning

Joshua Stapleton

Machine Learning Engineer

Model-as-a-Service

  • Stakeholder/Users greifen online auf das Modell zu

  • Modell über Portal bereitstellen

    • Nutzer senden Anfragen/Daten
    • Erhalten Diagnose/Vorhersagen

  • Bedenken:

    • Ländliche Klinik/kein Internet
    • Hochsichere Umgebung/sensible Daten

Portal-Symbol zeigt Modell als Service

End-to-End Machine Learning

On-Device-Serving

Integrierte Serving-Architekturen

  • Edge Computing
  • Nützlich bei unzuverlässigem Internet

Zahnräder im Kopf zeigen On-Device-Berechnung

End-to-End Machine Learning

Vor- und Nachteile von On-Device-Serving

Vorteile:

  • Geringere Latenz
  • Sicherheit
  • Einsätze in entfernten/abgetrennten Gebieten

Nachteile:

  • Begrenzte Ressourcen
  • Modell-Updates
  • Monitoring
End-to-End Machine Learning

Implementierungsstrategien

  • Pruning
  • Transfer Learning
  • Spezialisierte Frameworks nutzen

Symbol zeigt Strategie

End-to-End Machine Learning

Lass uns üben!

End-to-End Machine Learning

Preparing Video For Download...