エンタープライズソフトウェアはどのようにA / Bテストを検証しますか？
エンタープライズソフトウェア会社で働き始めたばかりで、検証を統合してユーザーにとって「何が機能するか」を確認するのに苦労しています。
私はより多くの消費者ベースのソフトウェアに取り組むことに慣れており、彼らはそのソフトウェアを使用するよう強制されていません。しかし、ユーザーに使用を強制された場合、それをどのように検証しますか？
たとえば、A/Bテスト用のツールボタンが2セットあるとします。 1つはアイコンのみ、もう1つは単語のみです。何が最良かをどのように検証しますか？ b-to-cソリューションでは、ボタンがクリックされる頻度、ボタンがソフトウェアにどれだけ長く留まるか、ソフトウェアをどれだけ使用するかでわかりますが、エンタープライズソリューションでは、ユーザーがソフトウェアを使用しますか？この状況で検証をどのように設計しますか？
（ほとんどの）エンタープライズA/Bテストツールはmargin of error希望する信頼指数を与えられた計算。
これが意味すること（90％の信頼度が必要であると想定）
<confidence %>コンバージョン率が+/-<margin of error>/<conversion rate>コンバージョン率が90％の場合、5％のコンバージョン率の+/- 10％になります。つまり、コンバージョン率が10％の場合、4.5％未満で5.5％を超えます。
これを説明する投稿がたくさんあります：
また、テストの実行時間が長いほど（2か月、6か月など）、データが収束する可能性が高くなります。コインを弾くほど近づくのと同じように、50/50になりますが、決して近づくことはありません。これがテスト期間が長くなる理由です。また、A/Aテストを実行する理由は、時々賢い考えです。
コンテキストでのテスト
まず、ソフトウェアの使用を選択することと選択しないことの違いについての説明を理解しましたが、それがテストにどのように影響するかはわかりません。ユーザーがアプリを使用してタスクを完了しているか、または完了していないかのいずれかであり、ユーザーがそれを使用していない可能性があるすべての理由で実際に制御することはできません。確かに、「自由に選択できる」システムでは、デザインは最高の競合他社（ベンチマーク）と同じくらい「良い」はずですが、アプリでオプションAとオプションBのテストが妨げられることはありません。
意味のある目標-影響の可能性
テストするオプションがパフォーマンスに影響を与える可能性がない場合は、美学について話していることになります。潜在的な影響（たとえば、タスクの完了までの時間の増減、必要なクリック数）がある場合は、意味のある目標の基盤があります。
ユーザー数が多い場合
A/Bテスト、目標（タイムアクション/クリック数のカウント）のコンテキストで成功を測定します 統計的に有意差を分析します 。
ユーザー数が少ない場合
ユーザーは少なくとも5人のユーザーをテストし、主要な問題を特定するかどうか。
ソフトウェアを使用して設定タスクを実行することから収集できるパフォーマンスの測定値がある場合は、実験を設定して「t検定」で結果を分析できます。 （いくつかの詳細が見つかります ここ 。
私は、エンタープライズソフトウェアとは、サイトに展開され、クラウドからアクセスできないソフトウェアを意味すると想定しています。
ライブオーディエンスでA/Bテストを実行できない場合は、選択テストを使用して、好ましいアイコンを決定できます。選択テストは単純なA/Bテストに似ていますが、独自のチームで使用したり、ソフトウェアがデプロイされている企業からユーザーを募集したりできます。
簡単に言えば、2つのボタンを印刷して、数人に見せます。これは初歩的なテストですが、動作するかどうかについてsomeのアイデアが得られます。
より多くのテストアイデアを取得するには、ソフトウェアが（展開されている場所で）使用されている人々を観察し、テストアイデアの仮説を立てます。