昨今のデジタルマーケティング技術の発展からABテストが頻繁に行われるようになりました。HubSpotなどのツールにおいても標準装備されているため手軽にABテストを実施できるのは嬉しいものです。しかし、その一方で「質の悪いABテスト」もよく目にするようになりました。デジタルマーケティングの世界では「まずやってみる」ことは大切です。しかしそれは、思いつきでやれば良いというものではありません。この記事では質の悪いABテストにしないために、押さえておきたいポイントを7つ紹介していきます。
ABテストでおさえておきたい7つのポイント
それではABテストについて、おさえておきたいポイントを7つ紹介していきましょう。
1.リターンの大きさと仮説を考える
まずは「思いつきでテストをしない」、というのが大前提です。思いつきのテストにならないようにするための、二つの大きな要素は「リターンの大きさ」と「仮説」です。
まずはリターンの大きさですが、これはそのテストをおこなって改善ができれば、どれくらいの収益アップにつながるのかという意味です。たとえば売上が100万あがることが見込める場所と、10万円程度の場所があるとすれば、前者をテストすべきなのは明白でしょう。
これは極端な例にも見えますが、申込みページと1サービスの下層ページであれば、申込みページの方がコンバージョンに近いので、改善効果が高くなるケースが多いはずです。
CVRのアップが+1％見込めるような施策と、+0.1％程度といったケースも同様です。
まずはこうした、「リターンの大きさ」を考えましょう。
次に、仮説を持つことです。仮説はそのページが持つ課題に対して、「悪いのは何が原因で」「どういった方法であれば解決できるか」といったことを示します。
仮説は、各種調査データをもとに組み立てていきます。なるべくユーザー調査も実施するといいでしょう。ユーザーの生の声を得ることができます。ユーザー調査はUIの問題を抽出するといった範囲にとどまらず、商品やサービスへの意見を聞きだすためにも有効です。
こうした裏付けがある仮説を持つことで、周囲への説得力が増すことはもちろんですが、仮説そのものが強い影響力を持ち、高い成果を見込めることになります。「リターンの大きさ」とこの「仮説」を掛け合わせることで、より大きな結果が見込めます。
2.課題をピックアップしておく
どんなマーケティング活動も同じですが、ABテストを実施するうえでも事前の情報収集は欠かせません。そこで出てきた課題はきちんと残しておき、そこからABテストのプランニングをおこなっていきます。
ABテストに向けた情報収集とは、次のようなデータの活用です。
- アクセス解析
- ヒートマップ
- 売上などの社内データ
- CDPなどにより顧客単位で統合されたデータ
- アンケート調査
- ユーザー調査
- ヒューリスティック調査
- 社内でのヒアリングやディスカッシヨン
この中でほとんどのWebサイトで取得できているのは、アクセス解析のデータでしょう。これを機会に、マーケティングやWebのチーム内でディスカッシヨンをしてみるのは、有効な手段です。課題出しの意味合い以外にも、チーム内での意識合わせもできます。
社内でのヒアリングは、営業やカスタマーサポートのように顧客やユーザーと直に接する部門に対しておこないます。特にBtoBではマーケティング部門だけで購買が完結しないため、こうした取り組みを通して部署間の連携が高まることも期待できます。すべての調査をおこなうことはなかなか難しいでしょうから、自分たちの課題感に合わせて、必要なものを選んで実施するのがいいでしょう。
こうした調査をもとに出てきた課題に関しては、一か所にまとめておきます。スプレッドシートなど共有も容易にできるツールがおすすめです。決して課題をいろいろな所に散在させない、ローカル環境で自分しかアクセスができないといったことは避けましょう。
3.テストをおこなうべきフェーズかを見極める
いついかなる時でもABテストをすべき、あるいはABテストが有効というわけではありません。
たとえば新規で立ち上げたサイトや、スタートアップ事業の場合だと、まずおこなうべきはABテストではなく集客です。これは言い換えると、効率を良くするよりもまず、ある程度以上の数を取っていく必要があるということです。
具体的な例でいくと、1日のアクセス数が100前後、申込みや問い合わせも数日で1件あるかどうかといった場合に、ABテストで質をあげても効果的とはいえません。アクセス数が100のままでCVRを2倍にしたところで、数日で2件獲得できる程度なのです。そうであればCVRは同じままで集客を5倍にする方が、より事業にとっては効果があると判断できます。また次に解説をしますが、アクセス数が1日で100程度のサイトでABテストをおこなったところで、信頼性が高いテストにはなりません。
こうしたことから立ち上げ時期は集客を、その次の成長期にABテストはおこなっていくようにしましょう。こうしたテストをすべきタイミングかどうかを見極めることも、マーケティング担当者の重要なスキルになります。
4.信頼度を担保する
ABテストは、どのテストパターンの成果が一番出るかを見るものです。しかしその勝ち負けに信頼性があるかは、非常に重要で単純に見極めることができません。
具体的な例をあげてみましょう。
Aパターン：CVR 3％
Bパターン：CVR 2％
Cパターン：CVR 1.8％
この結果だけを見ると「Aパターンの勝ち」となり、これでページ改善を進めようとしてしまいます。
しかしこのCVRを出す際の分母となったセッション数が、1,000にも満たない程度しかなかったとしたらどうでしょうか。残念ながらこのテスト結果は信頼できるものではないという評価になり、もしこの勝ちパターンをWebページに反映しても思うような成果にならない可能性が大いにあります。
しかし同じテスト結果でも、セッション数が10,000以上あるとなると、話は変わってきます。信頼のおけるテスト結果と評価しても良いからです。このようにABテストでは、サンプル数も重要になります。
ただしサンプル数が多ければいい、という単純なものではありません。仮にセッション数が1,000でも、AパターンのCVRが6％で他のCVRが2％程度しかなかったならば、やはりAパターンの勝ちと評価して良いといえます。要は統計学から見て、そのテスト結果が信頼に足るものかどうかというのが重要なのです。
それではテストをおこなうには統計学の専門知識が必要かといえば、そうではありません。幸いほとんどのツールで、こうした信頼度を測る機能はついています。これらは有意差判定といった名称になっていることも多いので、この機能を使い、それが正当なテスト結果になっているかどうかを見極めていきましょう。
5.継続しておこなう
ABテストは一度おこなって終わり、というものではありません。継続したテストの実施が望まれます。一時期にたくさんのテストをしているといったケースもありますが、この場合もさらに継続したテストをおこなっていきます。
継続すべき理由は、大きく二つあります。まずは「獲得コストは一定数の成果が集まった後では、上昇に転じる」、といった動きになるからです。
広告を例にとるとわかりやすいでしょう。CPAがABテストを実施することで、500円から300円に落とせたとします。月間あたりに1,000件の獲得がされていたとしましょう。その後もCPAは300円前後のまま推移していましたが、やがて2,000件に迫る頃になると再び上昇を始めます。
必ずではありませんが、獲得数とCPAはこうした動きになるケースが多くあります。これを避けるために、CVRを改善するといったABテストの実施を継続させておく必要があるのです。
もうひとつ、「トレンドの変化」もあります。具体的な例で考えていきましょう。
スマートフォンはOSのアップデートが定期的におこなわれますが、その場合にUIに影響が出るような仕様変更が起こることもあります。それまでとは操作感が変わったり、新たな問題が発生するケースも多々あります。
テクニカルなトレンドの変化ではなく、集客経路が変わるといったケースもあります。以前はSEO、つまりGoogleからの自然検索流入がほとんどだったのが、ソーシャルメディアからの流入割合が多くなってきたというサイトは多いでしょう。流入経路はコンバージョンに大きな影響を与えます。以前のテストで検索流入に最適化させる形で出た結果が、ソーシャルメディアからの流入でなおも有効とは限りません。こうしたトレンドに合わせていくためにも、ABテストの継続は必要なのです。
6.振り返りと定例化
ABテストは、必ず振り返りをおこないましょう。自分だけでおこなう、上司にのみ報告するといった局地的な取り組みはNGです。関係者を集めての振り返りをおこなっていきます。関係者とはデザイナーやエンジニアといった、技術者も含みます。そうすることで別の角度からの振り返りをもできるようになります。
こうした振り返りや、ABテストに関するミーティングはできれば定例化したいところです。前提としては、もちろんABテストを継続して実施しているということがあります。定例化はそれぞれのテストの評価ができるというだけでなく、チームや企業内でのテスト文化の定着といった効果も期待できます。
7.ナレッジをためておく
ABテストは「コンバージョンの勝ち、負け」といったシンプルな結果が残ります。こうしたテスト結果を残しておくというのは必須、しかしそれだけでは十分とはいえません。
たとえばテスト結果をWebページに反映したとします。こうして根拠があっておこなったはずのページ改修が、数年もたてば「なぜこうしたUIやページデザインになっているのか」、わからなくなっているというケースは往々にしてあります。WebページがABテストの結果をもとに改修されたのならば、その経緯についてもきちんと記録しておくべきです。
ナレッジが残されていない、属人化して共有されていないという問題はいたる所で起きています。あるケースだと半年前におこなったテストとほとんど同内容のことをまた実施している、ということがありました。もちろんトレンドが変化したため、このテストを再度試すべきとなったという仮説があれば良いのです。しかしこのケースでは人事異動や退職により、当時テストがおこなわれていたことを知る人間が部署内に残っていなかったために再実施となっていました。
別のケースでは根拠があって離脱改善をしていたのに、新しい担当者の主観でUIが変更されて、結果として再び離脱が増加したといったWebページもありました。ナレッジの蓄積はこうした非効率な運用をなくすためにも、非常に重要なのです。
まとめ
質の良いABテストを実施するためのポイントを7つ、紹介してきました。いずれも筆者がこれまで出会ってきた、実際の問題点をもとにしています。大きく分けると「プランニング」と「評価」の問題です。
マーケティング担当者みずからが、簡単にテストの実施ができる昨今は、こうした質の悪さがさらに目立ってきた印象です。成果があがらないだけでなく、業務効率を落としてしまうことになるため、これらのポイントを念頭に置いて臨むようにしましょう。
