野生のUXと観察されたUX
最近、幸運にも私が設計したアプリの1つを使用している電車のユーザーのすぐ隣に座ることができました。これを彼らに開示することなく、私は彼らがアプリをどのように使用するかを観察することができました。ユーザーテストセッションのように大声で考えていなかったとしても、それをどのように使用するかを知ることは非常に洞察に富んでいました。
「ユーザーテスト」セッションにユーザーを招集する場合と比べて、ユーザーが観察されていることをユーザーが知っているときの動作は異なりますか。またはさらに悪いことに、インセンティブが与えられたとき。もしそうなら、それは研究に欠陥をもたらすでしょうか？
はい、それはHawthorne Effectとして知られており、ユーザビリティテストセッションを実行するときに注意する多くの認知バイアスの1つです。
Wikipedia から
ホーソーン効果（オブザーバー効果とも呼ばれます）は、観察されているという認識に応じて、個人が行動の側面を変更する一種の反応性です。
それは研究に欠陥をもたらしますか？そうですね、ある意味で。しかし、それはそれがやる価値がないという意味ではありません。ある程度軽減できます。テスト施設をできる限り自然で快適なものにし、クリップボードを付けた実験用の上着に立たないようにします。一般的に友好的で人間的であり、機械のようではありません。そして（重要なことには）あなたがテストしているのは彼らではなくシステムであることを前もってユーザーに伝えます。
しかし、バイアスは常に存在します。それを認識し、複数のメソッドとユーザーでテストしてみてください。テスト後に人々がテスト中にどのように動作したかが、「現実の世界」での動作とまったく同じであるとは想定しないでください。 。
しかし、監視されていることを彼らが知っているとしても、人々から有用なテストデータが得られます。人々は自宅よりもラボで問題を解決するために一生懸命努力します。そのため、ラボでテストしているときにeコマースストアのチェックアウトに到達する方法を理解できない場合は、あなた本当にあなたが問題を抱えていることを知ってください-家の人々はずっと前に救済されていたからです。
JonWからの回答によると、ホーソン効果があります。
しかし、ユーザーが調査するのではなく民族誌調査のアプローチを取る場合、自然環境で目に見える行動がいくつかあります。
ユーザーテストは、ユーザーテスターによって設定された人工的な環境でより一般的に行われます。民族誌学的研究は、純粋にフィールドで、ユーザー自身の環境で行われます。これは、ユーザーのテストでは取り上げられない可能性のある他の問題を引き起こす可能性があります。
たとえば、デスクで誰かを観察している場合、パスワード、ガイドなどを使用して事後処理を行っている場合、これはUXを改善するために改善が必要であることを示しています。ユーザーテストはそれを受け入れないかもしれません。そのため、ユーザーを観察しているところが電車の中でアプリを使用している間、ラボでは発生しなかったであろう他のいくつかのことを示している可能性があります。
私はその欠陥があるとは言いません別の見方を提供しますと、ラボ環境でのユーザーテストでは強調できない、またはその逆のいくつかの代替結果と観察。
他の答えが指摘するように、この現象には名前があり、それは欠陥があります。
しかし、彼らが何を考えているのか分からないからといって、彼らに気付かれずにユーザーを観察することにも欠陥があります。彼らは特定の機能を嫌うかもしれませんが、選択の余地がないのでそれを我慢します。
あなたが得ることができる最も完璧なテスト/観察はあなた自身のソフトウェアを使用することです。ソフトウェアをテストする仕事の一部としてそれを使用するだけではなく、対象とする聴衆と同じように、そのようなソフトウェアを使用する必要があるのです。
これが実際に作成された注目のソフトウェア製品の数です。 Basecamp-彼らはおそらくBasecampを使用してBasecampの開発を管理しています。 Gmail-Googleの人々はおそらくGmailを使用して互いに通信します。 React-FacebookのユーザーはおそらくReactを使用して自分のWebサイトを作成します。
一方、NetflixムービーをChromeでクローズドキャプションで視聴しようとすると、ランダムな不具合が発生します。これはおそらく、Netflixでクローズドキャプション付きのNetflix映画を見るためにChrome=）を使用したことがないためです。