ツール15 — 無料、登録なし
意味が出るまで、どれくらいか。
2標本比率のz検定を、両方向で。CTRの差が本物になるまでクリエイティブ1本あたり何インプレッション要るか、そして今ある差が本物かどうか。
このページの数値はすべてリンクに入ります。こちら側には何も保存されません。
テストの設計
CTR、インストール率、そのテストで測っているもの。
Bが悪くても本当に構わない場合をのぞき、両側検定のままで。
コントロールを含みます。追加のバリアントはコントロールに対してボンフェローニ補正されます。
精度の値段
バリアントあたりのサンプル数（両軸とも対数）
| 効果 | 目標値 | バリアントあたり | 合計 | 所要期間 |
|---|
検出したい効果を半分にすると、サンプルはおよそ4倍になります。小さなリフトを小さなテストで追うと永遠に終わらないのは、これが理由です。
すでに回したテストを読む
バリアントごとに同じサンプル数として計算します。上で設定した信頼度と片側／両側を使います。
—z統計量
—p値
—差
—信頼区間
途中で覗くのがなぜ間違いか
走っているテストを見て止めるかどうか決めるたびに、ランダムなノイズに有意ラインを越えるチャンスをもう一度与えることになります。毎日確認したテストは、信頼度が約束した5%よりずっと高い頻度で「勝者」を吐き出します。始める前にサンプルサイズを決め、そこに届いたら一度だけ見る。どうしても早く止める必要があるなら、このページの固定サンプル数の計算ではなく、そのために作られた逐次検定を使ってください。
計算方法と注意点
- バリアントあたりサンプル数 =（zα√(2p̄(1−p̄)) + zβ√(p₁(1−p₁)+p₂(1−p₂))）² ÷ (p₂−p₁)²。p̄ は2つの比率の平均です。
- 両側検定では zα に α/2 を使い、ボンフェローニではコントロールとの比較回数で α を割ります。
- 逆向きの検定はプールした2標本比率のz検定です。信頼区間のほうはプールしない標準誤差を使う、という慣例どおりの組み合わせです。
- 正規分位点は Acklam の有理近似に Halley 法を1回かけたもの、CDF は Abramowitz & Stegun 26.2.17。どちらも表示している桁よりはるかに正確です。
- インプレッションは独立と仮定しています。実際は違います。同じ人が同じクリエイティブを2回見れば、1人の意見を2回数えたことになり、現実のテストはここに出る数字より少しだけ検出力が落ちます。
- CTRの差が有意でも、それはインストールの差ではありませんし、リテンションの差では絶対にありません。CTRで勝つクリエイティブが、質の悪いプレイヤーを連れてくることもあります。