ここ数年で非常に知名度が上がり、実際の取り組みも多く行われるのが「A/Bテスト」です。弊社の多くのサイトでA/Bテストを行っています。ここではその実態についてのざっくばらんな報告と、考察をまとめてみました。
また後半にはA/Bテストのポイントとトレンド、実際のツール紹介も行っています。「A/Bテストをこれからやってみたい」、あるいは「既にやっているけれど、どこか腑に落ちない」、「実はよくわからない」という方、ぜひこれを読んで必要に応じた改善を実施してみてください。
A/Bテストの実態
惜しい取り組み
まずは実際に企業で行われているA/Bテストの実態について、レポートしていきます。ちょっと、「惜しい」と感じる事例になります。
条件が一定していない
非常に「惜しい」と感じる、しかしよく見られるケースがこれです。
複数パターン（大体二種類が多いです）を用意してテストを行っているものの残念なことに「条件が一定となっていない」というものです。
最も多いA/Bテストは、実施時期をずらして異なるパターンを公開するものです。そして、その結果について比較考察します。
ここにちょっとした落とし穴があるわけです。クリエイティブのみで行動が変化するわけではありません（もちろん赤や青などのCTAで行動が変化する場合もありますが）。
多くの場合、外的要因が少なからず絡んでいることを想定する必要があります。ビジネスのトレンドや季節要因、ちょっとしたニュース、ソーシャルメディアでの盛り上がりなどによって変化することを理解しておいたほうが良いでしょう。もちろん自社のマーケティングキャンペーンなどの影響もうけるかもしれません。
この時期の問題を回避するために「数」ではなく「率」を見るのが一般的です。具体的にはCVR（コンバージョン率）やCTR（クリック率）です。
ただ残念なことに、やはり条件が違う中でテストを行い優劣を確認するというのは、理想的な方法とは言えません。ピートローズとイチローどちらが偉大なバッターかは、同時期に比較してこそ正確なわけです（野球ネタですみません）。
ではどうすれば良いのでしょうか？
現在は技術の進化により条件を同じにしたA/Bテストが簡単に行える時代になっています。ですから上述した条件が一定しないA/Bテストはやはり少し残念、と言わざるを得ません。
結果が主観により曲げられる
実際にあった話をご紹介します。
”ランディングページを変えたい”と関係者全員が思っていました。そして、今風のデザインの小綺麗なランディングページが出来上がりました。その企業はデータドリブンな取り組みを推奨していたため新旧ランディングページのA/Bテストを実施しました。
結果、古いランディングページのほうが僅かながら良い結果だったのです。その後は、新しいパターンが採用されました。何故なら全員が「今までのクリエイティブは変えたい」と思っていたからです。
A/Bテストのベースになるのは、データドリブン思想です。
これを積極的に推進している企業は、実はそれほど多くありません。ですからここで紹介した企業は、非常に良い環境にあると言えます。しかしそんな恵まれた環境であっても、こうした主観が入ったA/Bテストは行われています。
そうでない所では、この傾向はさらに顕著になり、いわば「名ばかりA/Bテスト」が横行しがちです。A/Bテストを正しく行えばツールにより客観的な優劣が出てきます。しかし結果を見てその後のクリエイティブを採用するのは人ですから、そこで主観が入ってしまいがちです。
A/Bテストを行って結果が僅かな差だった、というのはよくあります。例えばバスケットボールで「チームAが120点、チームBが70点」という点差ならば明らかにチームAが強いと言えますが、「チームAが91点、チームBが89点」ならば、本当に実力に差があるのか疑問が出るでしょう。A/Bテストで割と多く見られるのは、後者のパターンです。思うに最初から負けるパターンをテストはしないでしょうから、当然と言えば当然の結果です。
加えて人の感情として、どうしても主観が入ってくるのも分かります。どこまでも客観的な目で取り組む、というのはまず不可能でしょう。これを回避するためには、結果の優劣だけで見るのではなく別の分析を加えていくことも必要です。
パソコンだけで行う
A/Bテストだけの問題ではありませんが、今もPCをメインとして考えている企業は多くあります。
BtoBなど一部のサイトではまだPCからのアクセスが大半と思われがちですが、実はそれは昔の話です。たとえば弊社が運営しているB2B IT企業では、概ね10%近くがモバイルからのアクセスです。B2Cに至ってはPCをはるかに超えるほどモバイルアクセスは無視できないところまできています。
つまり、A/Bテストをスマホでも行うべきなのです。
分かっているんだけど、予算や時間の関係でついスマホが後回しになってしまう・・・という声も多く聞かれます。今後、B2Bでも当たり前のようにスマホからのアクセスが増えるなか、ユーザーファーストを考えた場合にスマホでのA/Bテストは必須といっても過言ではないのではないでしょうか。
実態から学ぶA/Bテストの改善ポイント
ここまでちょっぴり「惜しい」A/Bテストの取り組みを見てきました。
しかし、上記でご紹介した企業はA/Bテストを行っているわけですから、ちょっとした改善を加えるだけで好転する確率が高いのです。
惜しい内容と改善ポイントを、改めて整理してみましょう。
- 条件が一定しない中で、A/Bテストが実施される。
⇒ これについては最近のA/Bテストツールで解決できます。 - 結果に主観が入る。
⇒ 主観を完全に排除はできませんが、勝ち負けだけでない分析を組み合わせる事で、より客観的な判断ができます。 - PCのA/Bテストはするがスマホはやらない。
⇒ ほとんどのA/Bテストツールはスマホ対応しています。ユーザー視点を持ち、真のモバイル社会で勝ち抜きましょう。
なおA/Bテストが理想的に実施されていない要因として、次のようなものが考えられます。
- アクセス解析やコンテンツマーケティングと同じく、ブーム的な熱狂で取り組んでいる。
- ツールを知らずに導入検討さえしていない。
- 自分（たち）のやりたい事を通す、理由づけとしてテストを実施している。
- 「サイトの改善と言えばリニューアル」という意識があり、部分的な改善を繰り返すA/Bテストの方法や意味を理解しきれていない。
- テストをするための多少の手間は増えるので、きちんとやるのは面倒くさい。
意識を改善しなければいけない部分もまりますが、ツール類で解決できるものも多くあります。次章ではそうした現在のA/Bテストの技術、ツールについて紹介していきましょう。
A/Bテストの技術とトレンド
A/Bテストはクリエイティブを二つ（複数）パターン用意する必要がある、と考えている方がいますが、最近の方法はそうでもありません。
以前のA/Bテストツールはページ単位で異なるクリエイティブを出し分けるものでしたが、現在はパーツ単位で配信するようになっています。
これにより、ページを一から複数制作する時間や料金が圧倒的に抑えられるようになりました。A/Bテストツールの技術的な特徴を、その他のポイントを含めて挙げていきましょう。
- ページ単位でなくパーツ単位なので、制作時間やコストが大きく抑えられる
- 技術的な知見がなくても、管理画面で直感的な操作が行えレイアウト、テキスト、画像箇所以外の色変更などが可能
- テスト期間中、同じ割合で出し分け表示を行う
- テスト結果（実際の優劣）を、管理画面から確認できる
- 多くのツールが、ページに専用タグを追加するだけでテスト可能となる
- ユーザーの環境に合わせた配信設定、細かな条件を付けてのテストができる
また最近のA/Bテストツールのトレンドとして、こうした配信や勝ち負けのテスト結果以外に、分析機能やマーケティングオートメーションに力を入れているという傾向があります。
たとえば、HubSpotは、マーケティングオートメーションやCMSなどあらゆるツールを統合しているソフトウェアです。そのなかにA/Bテストツールも内包されるためワンストップのインバウンドマーケティングができる特徴があります。
また、ヒートマップツールとの融合も盛んに行われています。テスト結果だけですと明確な優劣をつけがたい場合にも多いものですが、ヒートマップ分析を入れる事で他の判断基準も加えることになるわけです。
またテストとは別ですが、ユーザーに対してターゲティングをしたコンテンツを表示する、という機能を持ったA/Bテストツールもあります。より高度なマーケティング施策を実施したい意向がある場合は、この機能もチェックしてから導入検討をすると良いでしょう。
ツール紹介
それでは代表的なA/Bテストツールを紹介していきましょう。
Optimizely
A/Bテストの代名詞と言えるほど有名なツールです。最近ではパーソナライゼーション機能にも力を入れています。
https://www.optimizely.com/
Visual Website Optimizer（VWO）
Optimizelyのジェネリック的なツール。価格も魅力です。
https://vwo.com/jp/
Kaizen Platform
ツールだけでなく、グロースハッカーと組んで改善プランまでを提供しています。
Adobe Target
Adobeのマーケティングソリューションの一つ。非常に高度なテストができるので、大手企業を中心に人気です。
http://www.adobe.com/jp/marketing-cloud/testing-targeting.html
SiTest
ヒートマップツールと一体になったA/Bテストツール。導入しやすい価格帯、また日本の製品なのでサポートも安心です。
https://sitest.jp/
HubSpot
MAなど統合マーケティングプラットフォームに内包してA/Bテストツールが提供されます。
まとめ
いかがでしたでしょうか？
A/Bテストの最新トレンドや失敗事例、そしてA/Bテストツールを簡単にご紹介させていただきました。A/Bテストで得た知見などもこのブログで今後取りあえげていきたいと思っています。
インバウンドマーケティングに力を入れる企業が多くなったため、A/Bテストツールはなくてはならない存在になってきました。そして、A/Bテスト成功ポイントは「小さな改善の積み重ね」以外にありません。
ぜひ皆さんも試してみてはいかがでしょうか。
