オンボードのシステムでのユーザビリティテストの実行。ユーザーはこれに注意する必要がありますか？

Question

広範なオンボーディングチュートリアル/プロセスを備えた製品でユーザビリティテストを実行することを計画しています。もちろん、実際の製品ではユーザーがそのような手順をスキップすることができますが、製品自体は使用するためにある程度の技術的知識を必要とします。

アプリケーションの実際のユーザーは、オンボーディングプロセスを経験し、達成する必要があることについて事前の知識を持っています。一方、テスターはある程度の知識が不足しています。

いくつかのオプションが表示されますが、何が最適かわかりません。

テストを簡単にしますが、製品の特定の領域のオンボーディングプロセスを含めます。
テスト内の書面による指示でコンテンツをカバーすることにより、不足しているオンボーディングプロセスに対応します。
オンボーディングなしでワイルドにテストして、とにかく何が起こるかを確認してください。

JeromeR · Answer

選択肢は3つだけですか？別のことを考えることができます。

現実的に保つ

製品の使用中に参加者を観察することを含むユーザビリティ調査を行うとき、私はシナリオをできるだけ現実的にしたいと思います。そして、私は参加者をリードしないように自分の道を行きます。

たとえば、参加者がToolsメニューのコマンド、シナリオ、または手順を使用する必要があるタスクを完了できるかどうかを評価したい各参加者が始める前に読むように頼むと、その中に「道具」という言葉はありません。

製品の場合、実際のユーザーは通常、チュートリアルをウォークスルーします。これは間違いなく「参加者をリードする」と見なすことができます。しかし、私はあなたの場合の重要な質問は、どれだけ長いがチュートリアルと製品の使用の間の間隔であるか、そしてどれくらい速く行うかだと思います彼らはチュートリアルを完了しますか？彼らはそれをスキップしますか？それらは通常中断ですか？

次に検討してください：研究の実際の状況を再現または模倣できますか？

各研究セッションでは、おそらくチュートリアルから始めることができます。実際のユーザーの場合と同様に、参加者を急いでスキップするか、意図的に参加者に割り込ませるようにしてください。プロセスについて話し合い、何かを記録する前に、すぐにチュートリアルを実行するように依頼した場合、チュートリアルと製品の使用の間の期間を長くするために使用できるいくつかのアクティビティがあります。

「著作権放棄および機密保持契約を読み、署名してください。」
専門分野について「このアンケートに記入してください」が、テストしている機能とは無関係であるか、他の注意散漫なタスクを提供してください。
「設定中に5分間メールを読んでください。」

そして、製品、つまり記録したい研究の肉とジャガイモのユーザビリティ調査を続けます。

追加の時間がかかるので、それに応じて補正し、それに応じてスケジュールする準備をしてください。私の意見では、チュートリアルで指示されたより多くのユーザーでテストするよりも、より現実的な方法でより少ない参加者でテストすることをお勧めします。

あなたの質問に答えるために、あなたがリストしなかったオプション4を選択します。つまり、実際の使用をできるだけ模倣します。

Andy · Answer

@JeromeRによる推奨に加えて...

Nielsen（ http://www.nngroup.com/articles/usability-101-introduction-to-usability/ ）によると、使いやすさは5つの品質コンポーネントによって定義されます。

学習可能性：ユーザーがデザインに初めて遭遇したときに、基本的なタスクを達成するのはどのくらい簡単ですか？
効率：ユーザーが設計を習得したら、どのくらいの速さでタスクを実行できますか？
記憶力：ユーザーが一定期間使用しなかった後にデザインに戻った場合、どれだけ簡単に習熟度を回復できるでしょうか？
エラー：ユーザーが行うエラーの数、これらのエラーの重大度、およびエラーからの回復はどれくらい簡単ですか？
満足度：デザインを使用するのはどのくらい楽しいですか？

おそらく、各ユーザビリティプリンシパルについて個別に考えることは、テスト方法をより適切に定義するのに役立ちます。

オンボーディングのバリエーションは、学習性に最も関心があることを示しています。

@JeromeRが示唆するように、チュートリアル後に製品の実際の使用を遅らせることは、覚えやすさとオンボーディングコンテンツの全体的な有効性の両方に近づき始めています。

テスターが製品を使用するための適切な知識を欠いている場合、私は個人的にオンボーディングプロセスを使用して速度を上げます。そうでない場合は、製品のインターフェースの使いやすさよりもはるかに多くのことをテストすることになると思います。