グロースドリブンデザインによるWebサイトの運用が加速するにつれ、A/Bテストが広く行われるようになりました。
その一方で、A/Bテストに関して熟練している人は少なく、実際にやってみたけれどうまくいかなかった、結果を分析できない、次にどう繋げて良いかわからない・・・といった悩みも多く聞かれます。
そこで今回は、A/Bテストを実施するにあたっての考え方やノウハウについて解説します。実践しやすいようステップ別に分けていますので、ご参考にしてください。
関連記事：残念なA/Bテストの実態とその改善ポイント
関連記事：リスティング広告で効果が出る、A/Bテストを正しく行うための5つのポイント
A/Bテストを始める前の準備
なぜA/Bテストをするのか？
まず「なぜA/Bテストをするのか」という事を初めに押さえておきましょう。
従来Webサイトの改修と言えば、「リニューアル」が定番でした。フルリニューアルもあれば、部分的に行うという場合もあります。いずれにしても制作費用が多くかかります。
またリニューアルに際してはWeb担当者を中心に、多くの労力がかかります。これを含めると見えないコストはかなりのものと言えるでしょう。
リニューアルをする際に企業は目的を持っています。
次が代表的なものでしょう。
- もっと多くの「売上」をあげたい。
- もっと多くの「見込み客」を確保したい。
基本的にはコンバージョンを稼ぎたいというニーズになります。
その次に以下のような目的もあるでしょう。
- 情報発信を多くしたい
- スムーズに運営をしたい
- 情報を整理したい
これらは効率をアップしたいニーズ、エクスペリエンスを向上させたいニーズとも言い換えられます。ROIを高めることに貢献します。
企業にとってサイトリニューアルは手段であって決して目的ではありません。これを意識しないとサイトリニューアルには「失敗」のリスクが付いて回ることになります。
これはサイト全体の話に止まらず、サイト内の一つの機能やキャンペーン用のランディングページに対しても同様です。
リニューアルをしてもコンバージョンしなければ、その取り組みは失敗と言えるのです。
そこで失敗しないための手段としてA/Bテストが登場します。
複数のテストパターンを用意して、それをユーザーに対して実際に公開することで予め反応を見ておきます。
これにより、一発勝負で公開する場合のリスクを軽減するのです。
A/Bテストの効果
A/Bテストの効果をまずはご紹介します。
上司の鶴の一声が出にくくなる
ほとんどの担当者が、上司の主観や好き嫌いで納得のいかないWebサイト制作をしたり、嫌々ながらのマーケティング手法を採用した経験があるものです。
A/Bテストを行う事を日ごろの業務に組み込んでおけば、この感覚的な鶴の一声を回避できるケースがあります。
営業部門からマーケティング部門へ来た依頼はすぐに実行に移さず、テストをして実施の最終判断をするというケースが増えているようです。
デジタルな世界ではデータが全てを語ってくれます。このデータを使う意識が高まっているということなのでしょう。
このためにA/Bテストで客観的な数値を出せば、上司は理解してくれるでしょう。
仮説が検証できたり、新たな発見がある
これはWeb担当者自身にとっての、大きな効果です。これまで感覚的に捉えていた考えが、客観的な数値となって持てるのはメリットです。
さらに新たな発見があるのも良いことです。自分自身の考えは一方向に偏ってしまい、新たな考えが生まれなかったり、大きな問題を見逃してしまいがちです。
A/Bテストを行い、ユーザーの動きを検証していく事で全く新しい発見をするチャンスが持てます。
自分自身のスキルが向上する
A/Bテストは企画とツール、それに集計ができれば誰でもできると思われがちです。しかし何度か実践することでスキルが向上します。
具体的には多くの仮説を思いつくようになったり、データドリブンの思考を持てるようになるなどです。
A/Bテストの問題
次にA/Bテストの問題点をご紹介しましょう。
明確なテスト結果とならない場合がある
例えば20％の差がつけば、それは完全な勝ちパターンと呼んでも良いでしょう。しかし3％であればどうでしょうか。確かに優劣はついていますが、それを勝ちパターンとするのには不安が出るかもしれません。数パーセント程度の違いであれば、誤差の範囲と見ることもできます。
実際のA/Bテストでは、こうした微妙な結果になる場合が多くあります。
最初から優劣がハッキリしているものを比べるのではなく、どちらにすれば良いか迷うものを出しているのですからしょうがない面もあるでしょう。
どのぐらいの差がつけば勝ちパターンとして採用すべきか。またそのテストで誤差はどのぐらいと捉えておけば良いかを予め把握しておくと、しっかりとした判断基準になります。
最初から完璧なテストはできない
実際にテストを開始してみると、思わぬトラブルや失敗が出てくる場合があります。
それらはツールの設定のミスであったり検証自体に意味がなかったりと多岐に渡ります。次回の教訓とするようにしましょう。
なおテストスケジュールに余裕を持たせ、初期段階の数値を追っていくと、早いタイミングでテストのリカバリーができます。
A/Bテストの手順
実際のA/Bテストを行う手順を、ステップに分けて解説していきましょう。
ステップ1：課題、仮説の洗い出し
テストで悪いパターンが、何となくテストをするというものです。また闇雲にテストをするというのも、避けたいやり方です。
後者については、例えばこんな事例がありました。
明らかにユーザビリティを損ねるデザインについてのテストをしよう、という意見があがりました。
ユーザビリティが悪いとどのくらいの数値が出るのかを見てみよう、というのが提案意図だったようですが、ユーザーの体験を初めから損ねるテストはするべきではないでしょう。
あるいは悪かったというのを数値化したとろで、発展性は見込めません。
最初のステップでは課題と仮説の洗い出しをしながら、本当にテストを行うべきかどうかについても議論しましょう。
ステップ2：KPIの決定
そのテストで何を評価基準にするか。つまりKPIの設定は必ず行っておく必要があります。メインのKPIの他に、1～2個程度サブKPIも設けておくと良いでしょう。
メインKPIで優劣が付かなかった場合や、判断に迷う場合に役に立ちます。またサブKPIの数値から新たな仮説が生まれる場合もあります。
ステップ3：テスト詳細の決定
実際のA/Bテストを行ううえでは、次のような事が必要になってきます。
- いくつのパターンを比較するか。
- 全ユーザーの何割に対してテストを行うか。
- 実施のタイミングはいつにするか。
- 実施期間はどのぐらいにするか。
- 実施するページはどこにするか。
実施期間やタイミングは大切です。例えば大きなイベントや季節要因が入る時期だと、テストの客観性が狂ってしまうからです。
また実施ページについてもこうした外的要因が無いかや、十分なサンプルが集まるかなどを考慮して選択する必要があります。
ステップ4：使用ツールの選択
既にA/Bテストツール自体は決まっている、という場合が多いでしょう。企画したテストがそのツールできちんとできるかを確認しましょう。またテストツールだけでなく、効果測定などセットで使うツールもこの時点できちんとピックアップしておきます。
ステップ5：メンバーのアサイン、スケジューリング
A/Bテストにはクリエイターやエンジニアといった、技術系のスタッフが欠かせません。A/Bテストや使用するツールに知見があるかどうかは、アサインの際に大きなポイントになります。
またテストへの慣れにより必要とする日数も変わってきます。A/Bテストを開始する前の確認の時間も、きちんと取るようにしましょう。
なおステップ5としてメンバーのアサインをしていますが、可能であればステップ1の企画段階からクリエイターやエンジニアを交えて話し合いながらの方が、より良いテストができるようになります。
ステップ6：テストの実施
実際にA/Bテストを実施します。
表示で出し分けがきちんと行われているかをチェックするだけでなく、きちんと数値が取れているか、設定の不備などによる異常を示していないかを最初の段階では特に監視しておきます。
ステップ7：テストの集計と分析、レポーティング
A/Bテストツールで、優劣に関する結果はすぐに分かります。
より細かな所を集計し、分析していきます。レポーティングは速報ベース、実際の検討では詳細レポートを用いるなど、複数段階に分けると良いでしょう。
次のアクションをすぐに起こさないといけない場合は、速報レポートが非常に重要になります。
次へのアクション
A/Bテストで得た勝ちパターンを基に、サイトリニューアルや改善に役立てていくのが次のステップになります。
しかしテストをやった事で新たに出てきた課題についても、引き続き検証していくのも大切です。
例えば2種類の動画をテストして、ある程度の差がついたとします。
しかしアナリティクスのセグメントを使い年代別に見ると、若年層では極端に違うCVRとなっているのが分かったとします。
すると20代前半まではまったく違う感覚でいるのではないかという仮説が生まれ、この層向けの動画を作成して、ターゲットも絞ったテストを追加実施した方が良いのではないかというニーズも出てくるでしょう。これは当然の事です。
一つの答えを出すのがテストですが、次への課題を生み出すのもテストです。そのためにテストを繰り返していける環境を日頃から作っておく必要があります。
その意味でも一つ一つのテスト結果をきちんと社内に共有していき、データドリブンで動けるような体制にしていくというのが、マーケティング担当者の大きな役割と言えます。
そして、まさにこの行為全てがグロースドリブンデザインによるWebサイトの運用と言えるのです。
