web-dev-qa-db-ja.com

サイトを公開せずにABテストを実施できますか？

私はA/Bテストに不慣れです。それが何であるかについての理解を深めるために、いくつかのサイトを調べました。

利用可能なツールを使用して、サイトでA/Bテストを実行します。今回が初めてなので、YOU GUYSのような経験豊富な/専門家に質問することをお勧めします。

これは、サイトがライブのときにのみ行う必要がありますか？ライブにする前に、新機能のA/Bテストの最良の方法は何ですか？

prototypingab-testing
4
kiempoturner

まずA/Bテストとは何かを説明します。

あなたがホームページが本当に重要であるウェブサイトを持っているとしましょう。設計しているときに、見出しセクション（h1タグ）に書くほうがよいかどうか疑問に思います。 「私たちのウェブサイトへようこそ」と書いた方がいいとあなたは言うが、あなたの同僚は「私たちのサービスを見てみよう」がより良い仕事をすると主張する。

どちらの見出しが優れているかを回答するには、「Webサイトへようこそ」という1つのバージョンと「サービスを確認する」という1つのバージョンのホームページを設計します。バージョン1とバージョン2に名前を付けましょう。

A/B test of heading

実際の訪問者のバージョン1の50％に提示する回答を取得するには、バージョン2を参照してください。ウェブサイトの目的がサブスクライブすることである場合お支払いプランに、各バージョンのサブスクリプションの数の追跡を開始します。 1か月後、結果を見ると、バージョン1には1000回の訪問と12のサブスクリプションがあり、バージョン2には1000回の訪問と26のサブスクリプションがあることがわかります。 2番目のバージョンではより多くのお金が得られたので、バージョン1を削除してバージョン2のみを使用します。

1）最小の組織でもA/Bテストを実行できます。会社の規模は関係ありません。重要なのは、実際のトラフィックの量だけです。トラフィックが多いほど、A/Bテストの結果が速くなります。たとえば、毎月1000人の訪問者がいて、2つのバリエーションのみをテストする場合、結果を得るには約1か月必要です。これは、95％の統計的有意性に到達する必要があるためです。簡単に言えば、これは結果が有効で真であることを95％確信できることを意味します。

2）実際のトラフィックでA/Bテストを行うことが絶対に必要です。そうしないと、結果が有効になりません。

3）私の経験によれば、最初にテストする必要があるのは、Webページの見出しテキストです。その後、レイアウトなどをテストできます。

4）はい

あなたはおそらく他の質問をするでしょう、恐れることなく尋ねてください、私は答えさせていただきます。

2
Kristiyan Lukanov

主な質問に答えるには：

はい、サイトが稼働しているときにテストを実行する必要があります。一方、起動する前にテストをプレビューできます。

それでは、ローンチ前に何をしますか？
最初のすべてのA/Aテストを1〜2週間実行し、データに違いがあるかどうかを確認します。ちなみに、A/Aテストは、variationAとvariationBの両方がまったく同じテストです。
しかし、なぜA/Aテストから始めるのですか？

  1. コンバージョンまたは訪問者のバリエーションに大きな違いがある場合、実装に問題があります。 A/Bテストプラットフォームのサポートに連絡するか、別のプラットフォームを試す必要があります。
  2. 「成功した」テストを実行すると、A/Bテストプラットフォームの使用とデータに自信が持てます。

次にプラットフォームのエディターを使用するか、開発者を使用してカスタムコードでa/bテストを実行するかを決定します。

  • プラットフォームのエディターを使用して、ホームページの文言やチェックアウト時のボタンとフィールド数などの簡単な変更をテストします。
    この種の変更は簡単に行え、QA
  • Webサイトの新しいレイアウトのテストやページの完全な変更などの「大きな変更」を計画している場合は、開発者を使用してカスタムコードを記述します。このタイプのテストは実行が難しく、大量のQAが必要になります

3番目各プラットフォームが提供するプレビューモードを使用し、すべてが正しく機能することを確認します。

QAで考慮すべきこと：

  1. 点滅の変化（訪問者が数ミリ秒の元のバージョンに気づき、変化を見る状況）- 点滅のいくつかの解決策
  2. 動作を中断しません（たとえば、古いブラウザ）。壊れたエクスペリエンスを提供するのではなく、一部の訪問者をテストから除外することをお勧めします。
  3. トラッキングは正常に機能しています（A/Bテストプラットフォームから報告された＃unique-visitorsとGoogleアナリティクスからの＃unique-visitorsの違いに注意してください）。

さて、起動する前に、optimizelyからこの QA＆Troubleshoot を読むことをお勧めします。そこで概説されている同じ原則が、各プラットフォームにも適用されます。

最後に、 A/Bテストアルゴリズムのしくみ 、および（トラフィックの可用性の観点から）テストを実行する適切なタイミングについての強力な知識を身に付けます。

1
gpelelis

はい、それがライブになる前にa/b N）テストを実行できます。ただし、統計的に言えば、どのソリューションがより適切に機能するかを証明するために、より多くのサンプルが必要になる場合があります。手動テストのセットアップでは、参加者を見つけることは非常に費用がかかる可能性があります。そのため、現在の訪問者を参加者として使用することで、信頼性が高まり、実行コストが削減されます。

サイトにトラフィックがない場合、これらのツールを使用するのは効率的ではありません。

a/b-nテストは方法であり、ロゴなどのあらゆるものに適用できます。ここでは、LIVE Webサイトを持っている必要がない、単純な設定テストに使用している別のツールを紹介します。

---（https://usabilityhub.com/preference-test

1
Abektes