運用開始後のAIシステム運用

人事のための AI

Chris Klaus

Senior AI Architect, Chalice AI

注視ポイント

$$

パターンに注目:

同じ質問が繰り返される
回答を従業員が二重確認する
返答に軽微な不整合

$$

簡易ログを残す:

質問・回答・違和感

$$

これらの兆候はシステムのドリフトを示す

定期チェック

$$

チェックリストのアニメーション

毎月30分のレビュー

方針整合 - 更新はあったか。現行の質問でテスト。
言語ドリフト - 最新ハンドブックと一致するか。
エッジケース - ログで弱点の再発を確認。
スコープ拡大 - 想定外の依頼を処理していないか。
指示の正確性 - ルールは現行運用を反映しているか。

方針変更時は、まず指示を更新

$$

新方針を発表したら、従業員が質問を始める前に、まずAIシステムを更新する。

$$

手順	アクション
1	AIの指示を即時更新—コンテキスト源と回答ガイドラインを改訂
2	現実的な質問でテスト—実際の従業員の問い合わせで検証
3	エッジケースに注力—失敗や誤りが出る場面を特定
4	不正確なら → スコープを絞るか、人間判断にルーティング

チームワーク

$$

四半期ごとのスポットチェック手順

システムをレビューできる人を1人確保する

現実的なシナリオを5つ渡す
混乱・意外性・人間対応を望む場面にフラグを依頼

$$

チェックアイコン

不具合が起きたとき

$$

即時対応:

直ちに設定を修正
事象と変更点を記録
影響を受けた従業員へ明確に周知

$$

例文:

"[system] が [topic] について古い案内を出していました。現在の方針は次のとおりです…"

透明性アイコン

支援ネットワークの構築

$$

チームのイラスト

$$

継続的に必要な3つの連携:

役割	必要な理由
人事担当	早期の従業員の混乱を把握
技術担当	設定を迅速に調整
コンプライアンス担当	規制変更を把握

モニタリング

4つのシグナル

$$

$$

$$

$$

4週間のローンチ枠組み:

1週目: 想定トップ20質問をテスト
2週目: 10〜15人でパイロット
3週目: フィードバックで更新
4週目: 月次レビューを設定

Passons à la pratique !

人事のための AI

Preparing Video For Download...