成功率の測定方法は？
私はこの本を読んでいます：Tullis, Thomas, and William Albert. Measuring the user experience: collecting, analyzing, and presenting usability metrics. Morgan Kaufmann, 2010.
この本では、5つのユーザビリティメトリックが定義されています。そのうちの1つが成功率です。成功率の測定方法を知りたいのですが？これは、ユーザビリティ属性と同等か、ユーザビリティメトリックが何か違うのですか。
成功率は、ユーザビリティの測定/定量化に使用される多くの指標の1つです。 http://www.measuringusability.com/blog/essential-metrics.php で説明されているように、タスクを完了できない場合、製品は使用できません。 「ユーザーが目標を達成できない場合、それ以外のことはそれほど重要ではありません。」
成功率を決定するために使用される方法は、次の要素によって大きく異なります。
- 実行されているタスクは何ですか？
- タスクはどのように完了しますか？
いくつかのタスクの例とその成功率を測定する方法：
検索
- ユーザーがsearchengine.comにアクセスする
- 彼らは「ピザ」を検索します
- ユーザーが最初のウェブ結果をクリックする
成功率：これは、ユーザーがWeb結果を見つけてナビゲートしたため、成功と見なされます。
- ユーザーは「2 + 2」を検索します
- 「4」という答えがすぐに出ます
- ユーザーは結果をクリックしませんが、タスクは正常に完了しました
成功率：このような成功を検出することはより困難ですが、同様のクエリが（この答えが見つからなかったことを示すため、ユーザーは同じことを別の方法で尋ねて答えを見つけようとします）。
ドロー
- ユーザーが描画Webサイトにアクセスする
- ユーザーが「描画」をクリックすると、キャンバスが表示されます
- コンテンツがキャンバスに追加され、描画が送信されます
成功率：ユーザーが描画タスクを開始したが送信しない場合、これは成功しません。この場合、コンテンツの送信が成功すると成功率が高くなります。
留意点：
- タスクによっては、成功または完了が複数の方法で決定される場合があります
- 最初にタスクを正確に決定します
- 次に、どうやって知るのかタスクが完了した
- 他のアクションも追跡して、タスクが成功しなかった理由を特定することが役立つ場合があります。
- たとえば、検索の例で、ページに費やされた時間を追跡する場合、すぐに再クエリがあったかどうか、またはユーザーがコンテンツのプレビューを最初に読んだかどうかがわかります。
- すぐに再クエリを実行すると、ページが威圧的で、整理されていないか、魅力的ではなかったことが示唆される場合があります。
- ページに費やされた時間は、提示されたコンテンツがクエリに関連していないことを示唆している可能性があります。
- たとえば、検索の例で、ページに費やされた時間を追跡する場合、すぐに再クエリがあったかどうか、またはユーザーがコンテンツのプレビューを最初に読んだかどうかがわかります。
ビジネス目標を設定する必要があり、それに基づいて成功を測定する方法を設定できます。
Eコマースサイトやソーシャルネットワークについて考えてみてください。ビジネスの目標は完全に異なります。つまり、放棄バスケットの割合、コンバージョンなどです。
Googleアナリティクスなどのツールを使用すると、サイトを常に監視し、製品が成熟するにつれて成果を向上させることができます。
ユーザビリティテストの基準を作成するときは、達成したいことを必ず考慮してください。
あなたはいくつかのレベルの「成功率」を持つことができますが、本質的には、この質問に対して「はい」または「いいえ」と言うだけです。
"ユーザーはタスクを達成しましたか？"
本からの引用、p65：
タスクの成功を測定するには、各タスク[...]に明確な終了状態が必要です。
ISO 9241-11の定義 ...の「有効性」に似ています。
測定成功
メトリックを収集するために、ユーザーの成功率という非常に単純なユーザビリティ測定を使用することをお勧めします。私はこの割合をユーザーが正しく完了するタスクの割合として定義します。これは確かに粗いメトリックです。ユーザーが失敗する理由や、ユーザーが完了したタスクをどれだけうまく実行できるかについては何も述べられていません。
それでも、収集率が高く、非常にわかりやすい統計であるため、私は成功率が好きです。結局のところ、ユーザーが目的のタスクを達成できない場合、他のすべては無関係です。ユーザーの成功は、ユーザビリティの一番下の行です。
成功率は簡単に測定できますが、1つの大きな例外があります。部分的な成功のケースをどのように説明すればよいですか。ユーザーがタスクの一部を実行できるが、他の部分は失敗する場合、それらをどのようにスコアリングする必要がありますか？
たとえば、ユーザーのタスクが、誕生日に母親に配達される黄色いバラ12本を注文することであるとします。真のタスクの成功とは、まさにそれを意味します。お母さんは誕生日に1ダースのバラを受け取ります。テストユーザーがこの状態になるサイトを離れた場合は、タスクを成功としてスコア付けできます。ユーザーが注文に失敗した場合でも、タスクの失敗を簡単に判断できます。
しかし、他の可能性もあります。たとえば、ユーザーは次のようになります。
12の黄色いチューリップ、24の黄色いバラ、またはその他の逸脱した花束を注文します。配送先住所の指定に失敗したため、花を自分の請求先住所に配達させた。正しい住所を指定しますが、日付を間違えます。または、荷物に同封するギフトメッセージを指定するのを忘れない限り、すべてを完璧に行います。そうすることで、ママは花を手に入れることができますが、花の出身者がわかりません。これらの各ケースは、ある程度の失敗を構成します（最初のインスタンスで、ユーザーがバラではなくチューリップなどを送信したいという要望を公然と表明した場合、これは成功と見なすことができます）。
ユーザーが指定されたタスクを実行しない場合、厳格であり、失敗としてスコアを付けることができます。それは確かに単純なモデルです。ユーザーはすべてを正しく行うか、失敗します。中間点はありません。成功は無条件の成功です。
ただし、部分的に成功したタスクに対して、部分的なクレジットを付与することがよくあります。私には、何も実行しなかったユーザーと、タスクの大部分を正常に完了したユーザーの両方に同じスコア（ゼロ）を与えることは不合理に思えます。部分的な成功を記録する方法は、ユーザーエラーの大きさによって異なります。
花の例では、正しい注文をしたことに対して80％のクレジットを提供しますが、ギフトメッセージは省略します。 （誤って）間違った花を注文したり、間違った日に配達させたりしたことに対する50％のクレジット。間違った配送先住所がある場合、25％のクレジットのみ。もちろん、正確な数はドメイン分析に依存します。
部分的な成功にクレジットを割り当てる明確なルールはありません。部分スコアは推定値にすぎませんが、成功と失敗への絶対的なアプローチよりも、設計品質のより現実的な印象を提供します。