こんにちは！
Ptengineの中のヒトのAndyです。
みなさんから良くいただく質問の中に「トラフィックが小さい段階ではあまりテストをする意味はない段階なのでは？」といただくことがあります。
例えば、既存のコンバージョン率が5％で、期待されるコンバージョン増加率が10％だとします。 4つのバリエーションをテストする場合、ウェブサイトのトラフィックにもよりますが、決定的な結果（95％の信頼レベル）を得るには、数ヶ月から数年待つ可能性があります。
しかし、そこで思考停止することはやめてください。
一般的に少ないトラフィックの中でも有効なABテストを行う手法が存在します。
そして、それによってデータに基づいた意思決定ができるようになり、
カンによるあてのない方角に向かう船に乗ることを回避できます。
ではその手法のくつかを紹介します
1.最終コンバージョンの代わりに中間コンバージョンを追跡する
最終ゴール数が少ない段階では、中間ゴールでABテストを評価することが大切です。
例えば、最終ゴールは問合せ完了。中間ゴールは問合せボタンを押すなどです。
評価するゴール母数が大きくなり施策効果を検証しやすくなります。
もちろん、中間ゴールはあくまで最終ゴールへの間接効果となるわけですが、
中間ゴールと最終ゴールの相関比率がわかっていれば、より貢献度として
厳密に計算をすることも可能です。
2.インパクトのある要素のテストに集中する
最終的なページのゴールに貢献する重要なページ要素を配置するテストを行います。
顧客の心理に大きな影響を与えるものをテストすることです。
例えば、あるアパレルサイトではお客様はスタッフの着こなし術を購買における重要な
要素としてみなしている経験値がありました、そちらをtopページでより目立たせたり
導線を変えることで短期的にも効果が出やすい実験を行えています。この手法は顧客購買に
影響を与えやすい要素をあらかじめ想定しておくことが重要です。
3.大胆なデザインのテスト
ボタンの色を変える、などのマイナーチューニングはあまり少ないトラフィックのうちはインパクトが小さい可能性があります。抜本的な改革をすることで、決定的な結果を早く出すことができるのです。
手法としてはリダイレクトテストなどを用いて大胆な変更をしたデザインのページを用意して
それらでABテストを行うことです。
一方でこのような手法を使うと、どの要素が影響してゴールへの貢献度が高くなったかを判別することが難しくなります。（通常テストは単一要素のみの変更が望ましい）
こちらの大胆なテストとはたくさんの変更要素を組み合わせたテストではなく、テーマの異なるテストと捉えてください。
テーマの異なるとは、コンセプトの違いです。
例えばお客様へのブランドコンセプトと着心地に特化させたページにするのか、
オシャレに特化させたテーマのページにするのか、などです。
こちらの変更でのテストにより顧客理解を深めることが可能です。
4.サイト横断テストの実施
そのページのみに存在する要素ではなく、ページを横断しても存在する共通要素をテストすることによって短期間で結果を最適化するテストが可能です。（Ptengineであれば、ページ条件の指定ができるので、複数のページをまたがった変更を行うことが可能です）
5.期間別テストを試す
少しアナログですが、まず一方のバージョンのみに特化してテスト。一定期間を経過したらもう一方のバージョンをテストです。本来同時期にテストをできることが望ましいですが、テスト自体をしていないよりはまず良いことです。
6.アンケートを実施する
現在のお客様に小さなアンケートを郵送するや、サイト上で調査を実施することができます。
Ptengineのweb接客機能であれば簡単なアンケートをサイト上で出すことができます。
気になるページに関しては直接お客様にヒアリングをしてしまうことで早めに改善の余地を見つけることが可能です。