提供モード

MLOpsのデプロイとライフサイクル

Nemanja Radojkovic

Senior Machine Learning Engineer

提供と提供モード

• 予測を提供するサービス＝モデル提供
• 特定の提供方式の実装＝提供モード

 

慎重に選びましょう！

バッチ予測：シンプルに

• バッチ予測が最も簡単
• 使えるなら、それを選ぶ
• 適例：月次の売上予測作成

許容レイテンシ

許容範囲は？

• < 1時間？
• < 1分？
• < 1秒？
• < 1ミリ秒？

ニアリアルタイム予測（ストリーム処理）

許容レイテンシ ≈ X 分

別名：ストリーム処理（リクエストと応答は「データストリーム」）

リアルタイム予測

許容レイテンシ < 1 秒

例：

• クレジットカード不正検知
• 遅い予測は実質無意味

レイテンシ最優先のとき

• 精度は劣るが高速なモデルが、精度は高いが遅いモデルより有用なことがある
• レイテンシ低減のため端末側にデプロイ＝「エッジデプロイ」
  • ML搭載スマホアプリ:
    • ナビアプリ
    • 顔認証でのロック解除
    • 画像フィルタ

¡Vamos a practicar!

MLOpsのデプロイとライフサイクル