A / Bテスト手法
友人と私は、A/Bテストのさまざまな方法について話し合っていました。彼のテクニックは、1つの小さな変更（たとえば、ボタンの色の変更）を行ってから、A/Bテストを実行して、変更による影響を確認することでした。私のテクニックは、かなり根本的な変更（たとえば、レイアウトとコンテンツを完全に変更する）を試し、それをA/Bテストすることです。
彼の手法ははるかに科学的であり、ユーザーをよりよく理解できますが、最終的には最適ではないパスを改良する可能性があります。私のテクニックでは、あるバージョンが別のバージョンよりも優れている理由は正確にはわかりませんが、より速く移動して新しいアイデアを試すことができます。
これらのテクニックの1つは他のテクニックより優れていますか？
いいえ、どちらも良くありません。彼らは異なる側面や戦略を扱っており、一般的には両方が必要です。
小さな変更を使用すると、設計を洗練し、変換に何が影響するかをよりよく理解できますが、極大値。
多くの要素を持つより多くの根本的な変更は、変換に何が影響するかを理解するのに役立ちませんが、大幅に優れたデザインを示すこともあります。
2番目の方法はコース最適化、最初の方法は細かい最適化と考えてください）。
デザインの最適化が上の画像のx軸に沿って移動し、y軸がその変更によって得られるコンバージョン率であると想像してください。
ここで、ローカルマックスに近い場合は、最適化を最適化する必要があります。離れている場合は、コースをさらに最適化したいと思うでしょう。問題は、このようなナイスカーブがなく、テストしたものだけを確認できることです。そのため両方の手法を使用する必要があります。
多変量テスト が必要なようです。たとえば、テストするページで4つの要素を選択します。テストの1つのバージョンで、ほとんど再設計されたページをテストするように、各要素を根本的に再設計できます。次に、これらの4つの要素を交互に「オン」または「オフ」にします。あなたはあなたのコントロール（元のデザイン）に対して16のバリエーションを持つことになります。
したがって、要素が1、2、3、4の数値であるとします。以下のパターンのようにバリエーションをテストします。ダッシュ（-）は、そのバリエーションで要素が「オン」になっていないことを意味します。
1234年
1-34
1〜4
-234
12--
123-
1-34
1-3-
（等。）
Smashing Magazineには 多変量テストに関する優れた記事 があります。
多変量テスト（A/Bと比較）を使用すると、どちらの方法が他の方法よりも優れているかという質問に関して、どの要素がクリックスルー率を高めたか、またはページの使いやすさが向上したかを正確に知ることができます。他のすべてのバリアントなし。
A/Bテストでは、特に広範囲にわたる再設計のテストでは、すべてが変更された場合、その変更を単一の要素に起因させることができないため、より良い結果が得られるかどうかはわかりません。
デザイナーとして私は大規模な再設計をするのが大好きですが、エンドユーザーを支援するのはしばしば単一要素の注意深いテストです。そして、特にアプリケーションフローやサービスのやり取りでは、UIの最良の変更はエンドユーザーから見えないものであると私は固く信じています。テストを改善する要素を段階的に変更することで、時間の経過とともにページが完全に再設計されますが、新しい要素の導入が遅いため、ユーザーは気付かないでしょう。
このようにして、1度だけの再設計によって引き起こされる認知的不協和を回避することができます。
どちらも有効なアプローチです。根本的な再設計が行われるほど結果間の変動が大きくなるため、友人は統計的に有意な結果を得る可能性があります。さらに、完全な再設計などの大きな変更とは対照的に、変換ボタンの色を赤から緑に変更するなどの小さな変更をテストする場合、統計的関連性を達成するのにはるかに長い時間がかかります。これは絶対的なルールではありません。
事はA/Bテストのための特定のアプローチであり、反証したい仮説に従って従う必要があります。
新しいA/Bテストを開始するときは、常に帰無仮説を仮定して実験を開始する必要があります。 A/Bテストを実行する目的は、この帰無仮説を反証することです。したがって、達成したい目標に応じて、両方の方法（再設計の小さな変更または大きな変更）を使用できます。
これらの考慮事項のいくつかは、これらの記事で読むことができます。 http://www.growthgiant.com/blog/the-pitfalls-ab-testing/
A/Bテストに基づいて合理的な結論を出すには、統計を取得する必要があります。十分な訪問者がいて、それらが類似している場合、統計はより正確です。コンバージョン値と訪問者の流れを考慮する必要があります。 1日に10人の訪問者がいる場合、単一のパラメーターの変更のテストに多くの時間を費やす必要があります。もちろん、あなたとあなたの友人が多数のビジターフローと複数の統計データを分析するための完璧な数学的ツールを持っている場合は、時間の側面、つまり時間の側面に注意する必要があると思います。