「間違った」というのはここでは正しい用語ではないことを理解しています。ユーザーをテストするのではなく、サイトをテストします。 (したがって引用符)。とにかく:
この架空のシナリオを考えてみましょう。ユーザビリティテストを実行していて、シナリオの1つは、参加者が会社に連絡する方法を見つけることができるかどうかを確認することです。彼らはあなたに連絡しています。 (基本的には、Webサイトでライブチャットオプションを見つけるのがいかに簡単かを知るためのシナリオです)。
ただし、参加者はサイトのいくつかの領域を調べて、サイトのフッターに携帯電話の番号フィールドを見つけ、おそらくその番号にテキストを送信するだろうと述べています。
まあ、それは明らかに期待していた結果ではありませんが、ライブチャット機能を直感的な方法で提示していないことを示唆しているので、とにかく非常に有効なテストです。
ただし、サイトのセクションが見つからなかったため、理由彼らはずっとそこにあった明白な「ライブチャットを開始する」ボタンをクリックしませんでした。
しかし、あなたは彼らにそれを指摘すべきですか?
そうすることの利点は、それが気付かなかった理由に関していくつかの追加のフィードバックを得ることができることです。
そうすることの否定的な点は、参加者に気付かれないことで少し愚かに感じさせる可能性があることです(彼らは明らかにそうではありません。
じゃあ何をすればいいの?特定のシナリオの最後に到達するたびに、これらのことを指摘しますか?兵士はテストを続け、最後に見逃したビットをすべて明らかにしましたか?彼らにこれらのことについてまったく触れないでください。
彼が何かに気づかなかった理由を誰かに尋ねても、有用な情報を提供する可能性は低いです。人々は confabulate 自分自身の精神的な一貫性のために、自分がそうしたことに気づくことさえせずに応答します。
一度にいくつかのことに集中することができます。私たちが何かに気づかない場合は、他のことに注意を払っていたからです。彼 彼はバスケットボール選手を見ていたのでゴリラに気づかなかった 。彼女は電話番号を見ていたため、ライブチャットに気づきませんでした。 誰かが何を見ているかdid通知は、その人が他の何かに気づかなかった理由を暗黙のうちに示します。
各タスクの最後に、参加者に質問します"他にタスクを完了する方法がありましたか?"
この質問では、明示的に指摘しなくても、ユーザーが期待していた別の方法を発見できるかどうかを確認できます。タスクを完了する別の方法が表示されない場合でも、これは彼らが何をしているのかについての情報を提供しますare表示したいものを強調することに加えて、それをグラフィカルに非強調することができます見つけられた。
明確な答えがあるとは言いませんが、テストの実施方法と探しているデータの種類によって異なります。
タスクは、参加者が必ずしもバックグラウンド情報を必要としない場合に、迅速かつ要領を得ます。相互にほとんど関係がない、またはまったく関係のない一連の非常に個別のタスクがあると、タスクの後で「どこが間違っている」かをより迅速に照会できます。
シナリオ根拠とコンテキストをユーザーに提供し、ストーリーを伝えるためのステージを設定します。ストーリーから抜け出し、「どこが悪かったのか」を説明するようユーザーに依頼すると、少なくともシナリオの次のタスクに対する即時の反応に影響を与える可能性があります。
タスクは即時クエリでより簡単に分割できるため、よりシナリオベースのテストはよりトリッキーになります...
どのtypeのデータを探していますか?
定量的テストデータの成功指標には、完了した成功したタスクの数と、タスク内の成功/失敗したステップの数が含まれます。量的データで「問題が発生した」理由は「問題ではない」と言いますが、その重みは小さくなっています。厳密な定量的メトリックを探している場合は、侵入して質問することはあまり役に立ちません。
観察と理解による質的データの収集には、複数の洞察が含まれます。含まれているのは、遭遇した問題-どこに行くのかわからない、次に何をするのか、彼らが探していたものを見つけるのか、そしてエラーから回復できるのか?
定性的なデータ収集では、ユーザーが「間違った」場所を尋ねることがはるかに重要です。でもいつ?
ファシリテーターがユーザーに少しずつ、各テストに固有の期間であるヒラメを許可すると、それらを軌道に戻す時間です。ユーザーが正しいポイントに戻されると、ファシリテーターはすぐに介入するか、ユーザーに続行させるかを選択できます。
進行役はいくつかの試行を経て、参加者に「声を出して考えて」、なぜボタンが欠けているのかを理解するよう依頼することができます。優れた研究者は、参加者に「なぜそれをクリックしなかったのですか?」参加者は、自分がどのように「間違った」かを正確に知ることができず、それについて(意図的または非意図的に)正確ではない場合があります。
参加者になぜ「間違った」のかを尋ね、「愚かな感じ」の可能性を減らしましたが、探していた情報を引き出すことができます。
テスト後の状況で、質的なデータを求めている場合に尋ねると、参加者はその理由を思い出せない可能性があります。テストセッションが長すぎて「エラー」が早い段階であった場合、ユーザーは何が起こったかを覚えていない可能性があります。さらに、新しいタスクに到達するためにボタンを表示する必要がある場合、彼らの記憶は混乱します。彼らはそれを逃した理由よりもボタンが表示されたことを覚えているでしょう。
テスト後のアンケートが提供されている場合、「何が問題だったのか」の説明を求めるのは理にかなっています。しかし、答えは純粋に額面どおりに受け取られる必要はありません。
ファシリテーターが参加者を「救出」する必要がある場合、discovering何が問題であったかを尋ねるよりも、何が問題であるかを尋ねる方が便利です。参加者に作業を進め、言葉で説明することで、彼らのタスクフローは彼らのメンタルモデルをファシリテーターに示します。尋ねるだけで、参加者はそれについて考え、答えを変えることができます。
記憶とエゴの影響を受けますが、参加者に、状況を把握するために、テスト後(またはシナリオ内など、テスト内の論理的なブレークポイント)に根拠を尋ねます。回答によって、「正しい」アクションが実行されなかった理由に関する貴重な洞察が得られます。
私はおそらく彼らにそれを指摘するでしょうが、私は非常に注意深く言い、ウェブサイトのデザインに欠陥を置きました:「ここにこのボタンに気づきましたか?多くの人々はそれを見逃しています、それは目立たないと思いますか?十分なのか、それとも何らかの理由で無視したのですか?」
しかし、あなたは彼らにそれを指摘すべきですか?
はい。親切な方法で、サイトの機能の一部がテストされる場合。これにより、ユーザーが気づいたが使用しなかったかどうか(およびその理由)、または最初から気付かなかっただけかどうかを調査することもできます。
これはまた、テストに関するはるかに大きな問題の一部にすぎません。特定の期間ユーザーがいるので、その時間の使用を最大化しようとしています。
ユーザーが何をしているのかを邪魔したくないので、サイトで彼らが完全に間違った方向に歩き回っているのを見たり、テスト期間の残りの部分を吹き飛ばしたりして、あいまいになっているのを見ることができますあなたが何も学んでおらず、欲求不満になっているウェブサイトのコーナー。
したがって、他のスケジュールされたタスクを通じてテスト期間を使用できるように、テスターが介入して「救出」する必要がある場合は常にあります。