ajike switch

ABテストをトラフィックが少ないサイトでする際の手法

こんにちは山本です。ABテストしたいけど、トラフィックが少ないサイト(ページ)の場合、どうすればいいのかって難しいですよね。母数が少ないと、その数値がほんとうに正しいのか判断できず、それが誤差の範囲かもしれないですし。。

では一体どうするのか?

そのヒントとなる方法が以下の記事にあったのでいくつかピックアップしたものを2回に分けて紹介したいと思います。

How To Do A/B Split Testing on Low Traffic Sites

■1.大きなコンバージョンに代わる小さなコンバージョンを検証する

商品を購入してもらったり、有料会員になってもらったりするのは最終的なゴール(大きなコンバージョン)ですが、それらのコンバージョンを高めるのは難しいです。

よってその大きなコンバージョンに間接的に影響している小さいコンバージョンが何か?を見極めて、それらをテストしていきましょう。

■2.ユーザーにとってインパクトの強いテストを行う

時に小さな変化が大きな影響を与える場合があります。そのためには何がユーザーの心理に大きなインパクトを与えるのか?というのを考え、それをテストをしていくことが大切です。

例えば、大学生を対象としたfunkyな服のサイトでは、価格設定や送料が非常に重要になることがあります。また高級なブランド服のサイトでは、1日でお届けする保証や、会員制,招待制などのClosedなサイトであることがインパクトを与えたりします。

サイトに訪れるユーザーが一番重要としていることが何か?をよく検証していけば、時に小さな変化が劇的な違いをもたらす可能性があります。

※小さな変化が大きな影響をもたらした事例
http://unbounce.com/conversion-rate-optimization/small-changes-increasing-conversion-rates/

■3.連続して同じ期間でテストを行う

最初にあるページの計測を行った後に、別のテストしたいページをまったく同じ期間計測を行い、それらのテスト結果を比較する方法です。例えば最初の計測期間が月曜から土曜日だったら、次のテストしたいページも同様の期間で計測します。
厳密には違うのですが、比較的有効な検証結果が得られるかと思います。もちろんその間にSNSキャンペーンやPRなどが行われていないことが条件です。より同一なアクセス状態であれば、より正確なデータが手に入ります。

以上いかがでしょうか?
トラフィック少ないサイトでもし悩まれている人がいれば是非参考いただければ!
次回へ続きます。 

おまけ

トラフィックが少ないサイトの目安とは?

そもそもトラフィックが少ないサイトの目安なのですが、

・1週間のコンバージョン数が5〜10より少ない
・1週間の合計UUが1000より少ない

にあたるサイトだそうです。

どれだけの期間テストすればいいのか?

どれだけの期間テストすればいいのか、という目安なのですが、
例えば以下のテストをするとしたとき・・・

・現在5%のコンバージョン率
・10%まで高めたい
・4パターン試す

そのテストにて95%信頼できるデータがどのぐらいの期間で得られるのか?というのを表したグラフが以下だそうです。

website-traffic-test-duration
出典:How To Do A/B Split Testing on Low Traffic Sites

グラフの単位がわからないのですが、10000(UU?)だと25日ぐらい、1000(UU?)だと200日もかかるそうです。。ご参考まで。

PR
アジケでは2014年より事業部のひとつとして「グロースハック(Growth Hack)」事業部を立ち上げました。サイトやサービスを成長させていきたいというご要望にお応えします。是非お問い合わせください。
planGH(グロースハック)| 株式会社アジケ
planGH(グロースハック)| 株式会社アジケ

servi

ajike switchの更新をメールでお伝えします!

8年以上ajikeが蓄積したデザイン思考とUXデザインの知見を発信し続けるブログ<ajike switch>の更新情報を無料でメールにてお知らせ致します。

×