スケーラビリティ

本番環境向けのMachine Learningモデル開発

Sinan Ozdemir

Data Scientist, Entrepreneur, and Author

スケーラビリティにおける計算制約

  • CPU・メモリ・ディスク要件はMLモデルのスケーラビリティに影響
  • 学習と推論中のCPU・メモリ・ディスク使用量を計測
  • 早期把握がより良いスケーラビリティにつながる

サーバールーム

本番環境向けのMachine Learningモデル開発

モデルの複雑さとスケーラビリティ

  • モデルの複雑さはスケーラビリティに影響
  • 複雑さとスケーラビリティの両立は難しい
  • 両立の戦略:
    • 特徴選択手法（例: Chi-squared, PCA）
    • モデル圧縮手法（例: pruning）

PCA

Principal Component Analysis (PCA)

本番環境向けのMachine Learningモデル開発

デプロイ速度とスケーラビリティ

  • 迅速なデプロイと反復は有用性と精度に不可欠
  • 戦略
    • 継続的インテグレーション/デプロイメント（次のレッスンで解説）
    • オンライン学習: 新しいデータでリアルタイム学習

ランナー

本番環境向けのMachine Learningモデル開発

最適なスケーリング戦略

  • トレードオフ: 提供コスト、再学習コスト、デプロイ速度
  • スケーリング戦略: 水平、垂直、自動スケーリング
    • 水平スケーリング: マシンを追加
    • 垂直スケーリング: マシンサイズを拡大
    • 自動スケーリング: 負荷に応じて台数を調整

スケーリング

1 https://www.spiceworks.com/tech/cloud/articles/horizontal-vs-vertical-cloud-scaling
本番環境向けのMachine Learningモデル開発

最適なスケーリング戦略の検討

  • 水平スケーリングはロードバランシングとパーティショニングを活用

  • 水平スケーリングのトレードオフ: 複雑さ、コスト($)

  • 垂直スケーリングはマシンサイズを拡大

  • 垂直スケーリングのトレードオフ: コスト($)

理想は水平方向・垂直方向の自動スケール

スケーリング

1 https://www.spiceworks.com/tech/cloud/articles/horizontal-vs-vertical-cloud-scaling
本番環境向けのMachine Learningモデル開発

演習に進みましょう！

本番環境向けのMachine Learningモデル開発

Preparing Video For Download...