こんにちは！
Ptengineの中のヒトのAndyです。
ABテストの導入に関してよくいただく不安点の中に「リソース不足」と
「コスト面」があげられることがあります。
ここでは、それぞれの視点に関して考慮すべきことを述べさせていただきます。
よくある考え方は、「リソース面が不足するので実験的な取り組みがしづらい」という環境です。
1.リソース面について
一つここでよくありがちな神話を崩させていただくと実験は成長を遅らせるわけではない、ということです。実際にABテストは文言変更だけでも効果やお客様理解をできる仕組みであり、高度なクリエイティブ作成が必要なわけではありません。
また、トラフィックに関しても多くなくても有効なテストは可能です。
詳しくは下記を参照ください。
そしてリソースと並行して存在するのがコストなどへの投資の考え方です。
2.コスト面について
投資としてABテストを考える際に、CVRを短期的に上げる期待値が大きのいのは確かです。
一方で、忘れがちなことは短期的なリスクを取る能力、テストのためのインフラと
プロセスへの投資、長期的な利益への焦点です。
A/Bテストや一般的な実験は、時間のかかるプロセスと見なされます。
確かに、1つのテストには10日から数十日以上、場合によってはそれ以上の
時間がかかることがあります。
結果として、何がうまくいくのかを理解するために数週間待つ必要も出てきます。
しかし、アイデアをテストしない場合、データのない仮定に基づいて素早く成果
を上げようとすることになります。実はこのリスクは見逃されがちです。
結果的にチーム全体が何がうまくいったのか、何がうまくいかなかったのかが
わからない状況になります。これだとチームレベルでのモチベーションの低下につながります。
重要なことは、長期的な利益と短期的な投資の両面を見ることです。
たとえば、Googleは2020年に60万の実験を実施し、その結果、
検索アルゴリズムに4500の改善をもたらしました。
これこそが競争優位性をもたらしている最たる例です。
実験文化を構築する障害は、予算の問題よりも、組織の
リーダーシップの信念と態度のほうが大きいと考えます。
一般的にはユーザー調査、サイトの変更、効果計測、もろもろ
のインフラや人件費は合わせるとそもそも高額になります。
実験を行い仮説の「正確性」を上げていくことことは
データでの意思決定の文化を醸成し、長期的な持続効果の
高い積み重ねとなるため、長期における利益には
幸いPtengineは無料からそれを試すことができます。
短期的な効果の実感もまずはこちらからお試しいただけるわけです。
これらを踏まえた上で行う最初のステップとしては、
①テストは最小限の文言レベルからもでお客様理解の効果がでることを把握する
②トライアルなどまずは試してみる
③コスト面に関しては長期におけるリスクと持続効果にも目を向ける
上記を推奨します。