Het model uitrollen

End-to-End Machine Learning

Joshua Stapleton

Machine Learning Engineer

Model-as-a-service

  • Stakeholders/gebruikers benaderen model via internet

  • Toon model via een portaal

    • Gebruikers sturen queries/data
    • Ontvangen diagnose/voorspellingen

  • Aandachtspunten:

    • Plattelandskliniek/geen internettoegang
    • Sterk beveiligde omgeving/gevoelige data

Portaalsymbool dat model-als-een-service toont

End-to-End Machine Learning

On-device serving

Geïntegreerde serving-architecturen

  • Edge computing
  • Handig bij onbetrouwbaar internet

Tandwielen in hoofd die on-device-berekening tonen

End-to-End Machine Learning

Voor- en nadelen van on-device serving

Voordelen:

  • Lagere latentie
  • Veiligheid
  • Toepassingen voor afgelegen/ongekoppelde gebieden

Nadelen:

  • Beperkte resources
  • Modelupdates
  • Monitoring
End-to-End Machine Learning

Implementatiestrategieën

  • Pruning
  • Transfer learning
  • Gebruik gespecialiseerde frameworks

Pictogram met strategie

End-to-End Machine Learning

Laten we oefenen!

End-to-End Machine Learning

Preparing Video For Download...