複数のA / Bテストを同時にテストする必要がありますか？
さて、あなたはたくさんのウェブページを載せたウェブサイトを持っています。明らかに、すべてのページに表示されるヘッダー/ナビゲーションとフッターがあります。そして、あなたは他のユニークな個々のページの束を持っています。
サイトのいくつかの異なるページでいくつかのA/Bテストを実行するとします。ただし、ナビゲーションでいくつかのA/Bテストも実行する必要があります。すべてのページにあるナビゲーション...
したがって、ランダムにテストされたページを使用する場合、このページのテストバリエーションが異なるだけでなく、このページのグローバルナビゲーションのテストバリエーションも異なります。
では、一度に複数のテストがある場合、どのようにしてテストの勝者を決定しますか？訪問者がナビゲーションのバリエーションBとページのバリエーションBを見ている場合、どのテストが実際に「コンバージョンの増加」（または成功の指標が何であれ）に貢献しているのかをどのようにして知ることができますか？
または、トラフィックを分割して、人々が一度に1回だけテストを受けるようにすることもできます。実行したいサイトで多くの異なるテストを行っている場合、（サイトが取得するトラフィックの量に応じて）潜在的にオーディエンスを制限しているように見えます。
または、別の選択肢として、グローバルUI要素（ナビゲーションやフッターなど）をテストする必要があるときはいつでも、サイトでの他のすべての個別の1回限りのテストを中止することでしょうか。それはうまくいくように見えますが、それはその期間中にテストできる量を本当に制限します。
この問題への最善のアプローチは何ですか？サイトに複数のテストを同時に展開するためのベストプラクティスは何ですか？
複数のA/Bテストは非常に一般的であるだけでなく、単純なA/Bよりも非常に便利です。ただし、別の名前があります： 多変量テスト。
これを想像してみてください：ページAおよびページBのテストを実行しますそして、ページBがページAよりもパフォーマンスが良いと判断します。 ページBから始めましょう。簡単でしょう？次に、別の要素（ボタンなど）をテストすることにし、ボタンAがボタンB。 ボタンAをページBで使用して問題を解決しました。
さて、問題は...ですボタンAどのインスタンスでもより良いパフォーマンス、または私がテストした場合ボタンAページAのほうがうまくいきますか？つまり、ポイント0に戻ると、一度にすべてを実行するのではなく、もう一度すべてをテストする必要があります。
救助のための多変量！
上記のケースのようなことをする代わりに、多変量テスト（またはmultiple A/B）を試してください
多変量テストは、複数の変数が変更されるという仮説をテストする手法です。多変量テストの目的は、考えられるすべての組み合わせのうち、どのバリエーションの組み合わせが最も効果的かを判断することです。
Webサイトとモバイルアプリは、変更可能な要素の組み合わせで構成されています。多変量テストでは、画像と見出しを同時に変更するなど、複数の要素を変更します。画像の3つのバリエーションと見出しの2つのバリエーションを組み合わせて、コンテンツの6つのバージョンを作成します。これらのバージョンを同時にテストして、適切なバリエーションを見つけます。
多変量テストのバリエーションの総数は常に次のようになります。
[# of Variations on Element A] X [# of Variations on Element B] ... = [Total # of Variations]
コンテキストがすべてであることに注意してくださいしたがって、クリーンラボのようには機能しません。 複数の変数があり、上の例は非常に基本的なものですが、機能を追加する場合はもちろん、geo、デバイス、時間を考慮してください年、観客年齢など。
つまり、簡単に言えば：合理的なサブセットを定義し、可能な限りそれらをテストできる限り、多変量テスト
A/BテストとA/B/nテストの間に概念的な違いがないため、これを回避する必要はなく、MVTテストはソリューションではありません。
それでも、テストが少なくとも1つのテストから誤った結論をもたらすような形で互いに影響し合うという理論的な可能性があるため、注意すべきいくつかの警告があります。潜在的な問題のより詳細な分析のためにこれを読むことをお勧めします： http://blog.analytics-toolkit.com/2017/running-multiple-concurrent-ab-tests/