2つのインスタンスで異なるバージョンを取得した場合、どのバージョンのA / Bを表示しますか？
たとえば、A/Bテストを実行していて、この1人の特定のユーザーがランダムにグループBに割り当てられたとします。私はそれを自分のデータベースのアカウントに保存するか、ブラウザに保存するかをすぐに選択できます。次に明日、同じ人物が別のデバイスからWebサイトにアクセスし、ランダムにグループAが割り当てられ、WebサイトのAバージョンが表示されます。次に、これまでバージョンAを表示していたこの新しいデバイスから、アカウントにサインインします。
アカウントに保存されている可能性のあるすべてのBをロードすることは正しいでしょうか？
または、現在の訪問を維持し、このローカルブラウザにAを表示し続けるのは正しいでしょうか？
または、これまでのところ、新しい訪問を継続して実際にこの新しいバージョンAを自分のアカウントに保存して、最初のデバイスからさらにページがレンダリングされるようにします。
これはすべて、サイトのさまざまなバージョンが視覚的かつ大幅に異なることを前提としているため、ユーザーが期待することは非常に重要です。
通常、A/Bテストでは、Aにさらされたユーザーの行動とBにさらされたユーザーの行動を比較します。
したがって、理想的には、各一意のユーザーは両方ではなくAまたはBのどちらかに公開される必要があります。 （もちろん、ユーザーが両方に公開されたときに何が起こるかをテストしたい場合を除きます。）
「ユーザーがメディアやデバイスなしでこのWebサイトを入手できるか」などの問題を検討することを好む。答えはNoです。ユーザーに到達する前にメディアが必要だからです。しかし、測定しようとしているパラメーターがプラットフォームから独立している場合、私の答えは変わります。
これらのテストの背後にある理由に加えて、それらは同じ媒体の中にあるべきです。つまり、iOS環境でテストAを実行し、AndroidデバイスでテストBを実行しても、これらのテストがこれらのプラットフォームに個別に適用された場合、必ずしも正確な結果が得られるとは限りません。
私の答えは、ターゲットユーザーに到達する前にデバイス指向の問題がフレーム化されている場合、人ではなくデバイスベースで適用する必要があります。ただし、とにかく人を測定する場合は、プラットフォームをテストする方がより正確です。独立しています。
つまり、プロファイルには多数のデバイスが含まれる可能性があるため、さまざまなデバイスでさまざまなテストケースを主張することで、ユーザーのプロファイルではなく、これらすべてのプラットフォームを測定できます。
ただし、必ずしもプラットフォーム指向ではなく、ユーザープロファイルの測定に重点を置いていないA/Bテストを実行している場合は、逆にアカウントベースを測定し、現在の設定をユーザーが最初に触れたテストメディアに変更することをお勧めします。正確な統計を保持します。