A/Bテスト

データサイエンスを理解する

Lis Sulmont

Curriculum Manager, DataCamp

データサイエンスのワークフロー

データサイエンスにおける実験・検証とは

実験は意思決定をしやすくし、結論を導く

1. 質問を作成する
2. 仮説を立てる
3. データを収集する
4. 仮説を統計的検定で検証する
5. 結果を解釈する

ケーススタディ：ブログタイトルの検証

質問を作成する： ブログタイトルAとブログタイトルBのどちらのクリック率が高いか？

仮説を立てる： ブログタイトルAとブログタイトルBは同じクリック数になる。

• データを収集する
• ユーザーの50%にタイトルAを表示
• 残りの50%のユーザーにタイトルBを表示
• サンプルサイズに達するまでクリック率を追跡

ケーススタディ：ブログタイトルの検証

統計的検定で仮説を検証する： タイトルのクリック率の差は有意かどうか？

結果を解釈する：

• タイトルを選択する
• あるいは、さらに質問をして別の実験を計画する

A/Bテストとは

別名：チャンピオン/チャレンジャーテスト

用語の復習

• サンプルサイズ： 使用するデータ数
• 統計的有意性： 結果が偶然によるものではないかどうか
  • 統計モデルの仮定に基づく
  • 計算には、統計的検定を使用する：
    • 例：t検定、Z検定、分散分析（ANOVA）、カイ二乗検定

A/Bテストの手順

• 追跡する指標を決める
• サンプルサイズを計算する
• 実験・検証を実行する
• 有意性を確認する

追跡する指標を決める：クリック率

• 変化を測るためのベースライン指標
  • 一般的にこのブログへのリンクがどのくらいクリックされるか
• この率が50%より大幅に大きいか小さい場合、大きなサンプルサイズが必要
  • クリック率は通常低い（3%未満）

サンプルサイズが大きいほど、小さな変化を検出できる

実験・検証を実行する

有意性を確認する

結果が有意でなかった場合

• 差が、設定したしきい値より小さい
• 実験を長く続けても効果はない
• 差があったとしても小さく、重要ではない

練習しましょう！

データサイエンスを理解する