ハイパーパラメータの自動チューニング

完全自動化MLOps

Arturo Opsetmoen Amador

Senior Consultant - Machine Learning

ハイパーパラメータとは？

ハイパーパラメータは学習プロセスを制御する調整可能な値です。

• 学習中には学習されない
• モデル学習前に設定する

$$

例:

• ニューラルネットのモデル構造
• 決定木の分岐数
• 学習率

ハイパーパラメータチューニングとは？

ハイパーパラメータ調整の手法

• グリッドサーチ

$$

$$

• ランダムサーチ

$$

$$

• ベイズ最適化

ハイパーパラメータ調整を自動化

自動ハイパーパラメータ調整の手順

• 定義が必要:
  • 最適化するハイパーパラメータ集合
  • 各パラメータの探索空間
  • 最適化する評価指標
  • 停止条件

最良のハイパーパラメータ集合を自動で探索

$$

ハイパーパラメータと環境の対称性

$$

ハイパーパラメータ調整 - 実験トラッキング

例 - ハイパーパラメータの可視化

Let's practice!

完全自動化MLOps