A / Bテストの隆起を理解する
最適化を試みるa(n)（positive）結果率）があるとします。
機能はこの結果に影響します。
テストでは、特定の機能Xを使用したユーザーの方が、この機能を使用していないユーザーよりも肯定的な結果率が高いことがわかりました。
肯定的な結果率に関してpliftの意味は何ですか？具体的には、すべての新規ユーザーが機能Xの使用を開始した場合、どのようにしてポジティブな結果率の上昇が測定されるでしょうか。
例：
- 肯定的な結果を持つNbユーザー：10
- 機能Xで肯定的な結果を得たNbユーザー：8
- 機能Xのない肯定的な結果を持つNbユーザー：2
- Nb新規ユーザー：5
- 機能Xを備えたNb新規ユーザー、したがって良い結果：3
- 機能XのNb新規ユーザー、肯定的な結果なし：2
次に、すべての新規ユーザーが機能Xを使用するとしたら、良い結果がどのように向上するでしょうか。
最適化ツールは通常、上昇率よりも多くの統計を提供します。現在のトラフィック、現在のコンバージョン率、予想される上昇を考慮して、テストを何日/週実行する必要があるかを教えてくれる人もいます。
注意すべき最も重要な2つのことは、信頼レベルとエラーのマージンです。
これは通常、スチューデントのT検定（またはソフトウェアによっては同様）のような統計的測定を使用し、次のように変換できます。
仮定：
- バージョンBは、コントロール/デフォルトグループと比較すると、5％向上します。
- 誤差は10％です。
- 90％の信頼水準を使用します。
翻訳：
ケースの90％（選択した信頼レベル）で、無限の時間にわたって実験を継続すると、バージョンB（コントロールと比較した場合）のコンバージョン数が4.5％〜5.5％増加します。 5％増加の+/- 10％は0.5％だからです。
したがって、人々がその範囲を上回ったり下回ったりする場合があるかもしれませんが、私たちが（願わくば）言うことができる増加を観察した90％の時間は、私たちが導入した変更（バージョンBとコントロールグループ）によるものです。 。
お役に立てれば！