Driftsättning av modellen

End-to-End Machine Learning

Joshua Stapleton

Machine Learning Engineer

Modell som tjänst

  • Intressenter / användare når modellen via internet

  • Modellen exponeras via en portal

    • Användare skickar frågor / data
    • Tar emot diagnoser / prediktioner

  • Begränsningar:

    • Landsbygdsklinik / ingen internetåtkomst
    • Högsäker miljö / känsliga data

Portalsymbol som visar modellen som en tjänst

End-to-End Machine Learning

Driftsättning på enheten

Integrerade driftsättningsarkitekturer

  • Edge-computing
  • Användbart vid opålitlig internetanslutning

Kugghjul i huvud som illustrerar beräkning på enheten

End-to-End Machine Learning

För- och nackdelar med driftsättning på enheten

Fördelar:

  • Lägre latens
  • Säkerhet
  • Tillämpningar i avlägsna / frånkopplade miljöer

Nackdelar:

  • Resursbegränsningar
  • Modelluppdateringar
  • Övervakning
End-to-End Machine Learning

Implementeringsstrategier

  • Pruning
  • Transfer Learning
  • Använd dedikerade ramverk

Ikon som illustrerar strategi

End-to-End Machine Learning

Nu kör vi en övning!

End-to-End Machine Learning

Preparing Video For Download...