A/Bテストのポイント(1)-実施前後で気を付けるべきこと


abテストのポイント

ウェブサイトでの購入ボタンは、緑色がよいのか赤色がよいのか。メールのクリエイティブは、AパターンがよいのかBパターンがよいのか。デジタルマーケティングでは、効果測定が容易に行えるため、悩むより試してみる方が早い。その際に行われる一般的な方法が、複数のパターンを制作し、それぞれの効果を比較するA/Bテストだ。

一見簡単な話のようだが、A/Bテストを行う場合には、実施前にも実施後にも気を付けるべきことがある。それらを見落とすと、誤った判断をしかねないので要注意だ。

A/Bテストを実施する前に

A/Bテストを計画する際には、比較する要素以外の条件を揃えることが大切だ。

例えば、メールのクリエイティブの検証であれば、

  • 配信リストを均質にする
  • 配信時間帯を同じにする

ということが重要になる。

配信リストが登録日順になっている場合、リストをまん中で2つに分けて比較してしまうと、登録日が最近の人たちのリストと、かなり前に登録した人たちのリストになってしまい、メールのクリエイティブ以外に、登録日の新旧という要素が結果に影響してしまう可能性がある。

また、ユーザーの行動パターンは時間帯により異なるので、リストAにメールを配信(例えば、9~11時)したあとで、リストBにメールを配信(11~13時)し、AとBを比較してしまうと、時間という要素が結果に影響してしまう可能性がある。

A/Bテストの結果をどう捉えるか

A/Bテストを行った結果をどのように評価するかについてもポイントがある。

以下のようなケースについて考えてみたい。

★ケース1
A:配信数 50,000、クリック数 2,000
B:配信数 50,000、クリック数 3,000

これだけ大きな差が出た場合は、特別な検証をしなくとも、直感的にBの勝ちと判断できる。(統計的に検証してもBの勝ちとなる。)

この結果であれば、本来AとBとで差がなかったにも関わらず、今回はたまたまBの方が良かっただけとは考えず、AよりもBのメールクリエイティブの方がクリックという行為に与える影響が大きかった、と考えるだろう。

では、

★ケース2
A:配信数 50,000、クリック数 2,000
B:配信数 50,000、クリック数 2,010

という結果になった場合はどうだろうか?

同じ配信数でAよりもBの方がクリック数が上なのでBの勝ちなのだろうか?それとも今回はたまたまそうなったのだろうか?

この程度の差であれば、もう一度やれば反対の結果になることもありそうだ、と考えるのが自然ではないだろうか。

表と裏の出る確率がともに2分の1である完璧なコインを10回投げたときに、必ず表5回、裏5回となるとは限らず、表6回、裏4回となることも十分に起こりうるのと同様の話だ。

さらに、

★ケース3
A:配信数 50,000、クリック数 2,000
B:配信数 50,000、クリック数 2,100

ではどうだろう?

ケース3くらいになってくると、なかなか直感的には判断しにくいのではないだろうか。このような際には、Bの方が良かったと言えるのか、それとも、今回はたまたまそうなったというだけでBの方が良かったとは言い切れないのかを、統計の仮説検定という手法で検証する必要が出てくる。

仮説検定については、次回のコラムで詳しく説明するが、A/Bテストの結果を評価するには、単に結果の数字の大小を見るだけでなく、今回はたまたまそうなったのかどうかの検証が重要であることを認識しておいていただきたい。

 

関連ページ
ウェブサイト/LP最適化(Test & Optimize)

お問い合わせはこちらから


こちらの記事は「」が執筆しました。

→ 株式会社スペースシップの会社概要はこちら

→ 株式会社スペースシップのマーケティング事業はこちら