Ptengineを使ってABテストの結果から、次の改善につながる考察を見つける方法

こんにちは!Utty(ウッティ)です。

日々、ABテストしながら次の改善アクションはどうしようかと頭を抱えている
方に実は、Ptengineを使うことで次の一手に繋がるABテストの深掘った分析が簡単にできますよ!
と伝えたくここに投稿しています。

動画でも説明していますので、音量調整していただき【動画】でも視聴可能です。

過去比較だけではなく同期間のABテストが重要

変化が激しい世の中だからこそ、スピード感をもって効果検証をしていくメジャーな手法として
ABテストがあります。Ptengineを利用シている方はABテストを実施している方が多いかと思います。

一方、まだまだ過去のページとリニューアル後のページを過去比較することのみとなってしまっている
場合も多いです。

過去と比較する場合は

・時期的な要因による影響
・改善スピード

と課題がつきものです。一定のアクセス量がある場合は、同期間で2つ以上のパターンでABテストすることで比較がしやすくスピード感もって効果検証を行えるので推奨しています。

ExperienceではABテストどちらが良かっただけでなく、" Why " を解き明かせる

そこで…Ptengine ExperienceでABテストをすぐ実施することができることご存知ですかね? :joy:
Ptengine Insightで得た考察をもとにすぐ ExperienceでABテストを実行することが可能です。

通常ABテストですと
Aパターンのページが、CVR 2.8%、離脱率(直帰率)89%、滞在時間 3分 WIN!!!
Bパターンのページが、CVR 1.1%、離脱率(直帰率)94%、滞在時間 1分

「Aパターン」が良かったので、Aのページを残しましょうという従来の広告に似た運用となりやすいかと思います。

しかし、それでは仮説がないまま更に良くしようとした時にどのようなパターンを用意すべきか
アイディア勝負になりやすいと考えています。

Ptengine Experienceでは、ABテストの結果(有意差検定含む)から更に深堀った分析できるようになっています。

① 各ディメンション(カテゴリ)ごとに各パターンの傾向が見れる

仮に一方のパターンが効果悪くても、効果がいいところがどこかにあるのではないかと
詳細を確認し、効果を最大化させることが可能です。デバイスや流入元、訪問種類、エリア、顧客データ(データ連携が必要)ごとに各パターンの結果を一覧的に確認することができます。

以下の画像では、新規訪問ではパターン1が効果的再訪訪問ではパターン2が効果的 という
結果となります。※サンプルのためデータ量は考慮していません。
次の一手として、新規訪問と再訪問とセグメントして運用すると効果が最大化されるかもしれないという仮説が生まれます。


② パターンごとにヒートマップを確認することができる

各パターン別になぜ、効果が良かったのか悪かったのかをヒートマップで
確認することが可能です。

例えば、
・Aパターンは、口コミ中心のコンテンツを多くしたため、狙い通りによく注視されているため
商品の評価をもとに購買の意思決定を促進できた
・Bパターンは、思っている以上に上部での離脱が多く、伝えたいポイントまで到達されていないかったから促進ができなかった

以下の画像はイメージとなります。

以上です。お客様の声をもとに、レポート画面が最近刷新されたため、次のアクションに繋がる効果的なインサイトが見つかると思います。しかし、まだまだ製品を進化できるかと思うのでフィードバックをお待ちしております!!!