ABテストのサンプルサイズ計算
現状のCVR（成約率）と、検出したい差（ポイント）、有意水準、検出力を入れると、ABテストの各グループに必要なサンプルサイズを計算します。
%
ポイント
例：5%→6%の差を見たいなら1ポイント
計算方法
2つの割合（CVR）を比べるABテストの標準的な式（2標本の割合の差の検定）を使います。
必要なサンプルサイズ（各グループ） ＝（zα ＋ zβ）² ×（p1(1−p1) ＋ p2(1−p2)） ÷（p2−p1）²
p1は現状のCVR、p2は検出したいCVR（現状＋検出したい差）です。zαは有意水準（両側検定）に対応する標準正規分布の値、zβは検出力に対応する標準正規分布の値で、どちらも統計学で決まった値（90%→1.644854、95%→1.959964、99%→2.575829／検出力80%→0.841621、90%→1.281552）を使います。端数は切り上げます。
出典：標準正規分布の分位点（統計学で定まった値。90/95/99%の両側検定、80/90%の検出力に対応する決まった数字）
PR
よくある質問
サンプルサイズが大きすぎて現実的ではありません
検出したい差を大きくするか、有意水準・検出力を下げると、必要なサンプルサイズは小さくなります。小さな差を検出しようとするほど、多くのサンプルが必要になります。