制御された環境外でのユーザーテストを信頼すべきか
最近、私たちは立ち上げている新しいウェブサイトのユーザーテストを始めました。最初、上司は「理由」*のためにユーザーテストに反対しました。
最初のいくつかのテストを実施した後、私たちはすでにいくつかの問題点を特定しました。これらの問題点を解決することで、製品が大幅に改善されました。私の上司は、ユーザーテストについて新たな見解を持ち、より多くのユーザー**（主に彼の隣人/友人など）でテストしたかったので、私は制御された環境で使用するユーザーのために一連のタスクを準備しました彼が知っているユーザーのタスクをテストできます。
私の現在の問題
私たちの管理された環境で行われたテストは、彼自身のユーザーテストのほぼ反対の結果を反映しています。私は彼が少し予測できることを知っているので、これは私に不思議に思いました：制御された環境の外で行われるユーザーテストを信頼するべきですか？
*理由としては、ほとんどの人が使用するものは、「ターゲットグループが自分自身を理解するよりも、ターゲットグループをよく理解する」などです。
**はい、これらのユーザーはターゲットグループに含まれます。ターゲットグループは非常に広いです。基本的に18歳から50歳までの誰でも。
はい・いいえ
上記のオプションはどちらも、多くの要因によって当てはまる場合があります。
実際、かなり一般的であるため、非モデレートテストを実施することはめったにありません（非モデレートテストとモデレートテストの違いを理解するには この記事 を参照してください）。
ただし、すべてのテストが同じであるとは限りません。探しているすべての答えが同じテストで得られるとは限りません。必ずしも「正しいテスト」が正しいとは限りません。次にenvironment（制御または非制御、リモートまたはローカル、彼女の環境内のユーザーとオフィスのユーザーなど）があります面接官のスキルと知識、時間、予算、資産 ....さて、テストに影響を与えるさまざまな変数。
上記はすべて 研究方法論 に関連しています。問題は、多くの人が研究方法（または手法）と研究方法論は同じであると考えていることです。明確にするために：
研究方法は、研究で使用されるさまざまな手順、スキーム、およびアルゴリズムです。研究調査中に研究者が使用するすべての方法は、研究方法と呼ばれます。それらは本質的に計画的で、科学的で価値に中立です。調査方法は、サンプル、データを収集し、問題の解決策を見つけるのに役立ちます。
研究方法論は問題を解決するための体系的な方法です。研究のあり方を研究する科学です。本質的に、研究者が現象を説明、説明、予測する作業に取り掛かる手順は研究方法論と呼ばれます。また、知識を得る方法の研究としても定義されています。その目的は、研究の作業計画を与えることです。
（RESEARCH METHODOLOGY paper）からの定義
ご覧のとおり...似ていますが同じではありません。そして、私はこれを難しい方法で学びました。テストと研究に関しては、私は自分自身を非常に知識のある人だと思っています。結局のところ、利用可能なさまざまなテスト、テストの実施方法、参加者のスクリーニング方法などを調査しました。まあ、完全な資格を得るのに十分な知識がありました。現在、私の妻/パートナーは心理学博士、科学研究の方法と技法の教授であり、全体的に人間行動研究を専門としています。その時点で、彼女は私と一緒に働いていませんでした。何年か経ちましたが、私の研究スキルは素晴らしいことに気づきましたが、現実の世界でテストしたときに間違った結果になることが時々ありました。私は彼女に助けを求め、注意深い検討の結果、彼女は私に言った：「さて、あなたは私よりはるかに方法について多くを知っています。方法論についてはあまり知らないので、結果は非常に信頼できる」（注：これは特に 定性的方法 の場合に当てはまりました）
要するに、あなたの答えに戻ります
すべてが可能ですが、あなたが説明したことについては、マネージャーの結果はおそらく信頼できません。彼がインタビュー対象者を知っているという事実は、おそらくテスト結果を無効にします（必ずしもそうではありませんが、非常に可能性があります）。テストの種類に応じて、私はあなたがあなたのオフィスまたは多分いくつかでそれをすることを勧めます ゲリラテスト
@Devinの回答は非常に価値があり、メソッドと方法論の違いについての彼のポイントを理解していることを確認してください。
これを最初に片付けるだけです
それは謎をより速く解決するでしょうが、私は**何も知らず、すべてを決定する典型的なボス**と言う私の速い思考のヒューリスティックに陥ることを避けたいので、ここで私はここで仮定していると言ってこれを始めたいと思いますあなたの上司がテストを実施し、モデレートする資格があること、これが当てはまらない場合は、非モデレートバージョンに確実に依存します。または、バイアスをかけるよりもランダムな非制御サンプルに依存したい場合は、統計的言語を使用します。層別サンプル、今の答え：
調査結果をマージすることを検討してください
ユーザーテストはさまざまな結果を生み出しますが、最初の主な目的は、製品の使いやすさを評価することですが、ユーザーのニーズに関する洞察、市場に関する洞察、そして時には価値提案がそれ自体でどのように認識されるかについてさえ、さまざまな洞察を表にもたらすことがよくあります。ユーザビリティの結果と他の結果を区別できるようにすることは非常に重要です。
ターゲットグループが広い場合の問題は調査結果の不一致であるため、結果の違いは、実際に異なるユーザーがいるためか、テストの異なる環境が原因である可能性があります。
Nielsen Norman Groupの記事 https://www.nngroup.com/articles/how-many-test-users/
ユーザビリティ調査のテストユーザーは何人ですか？
答えは、そうでない場合を除いて、5です。より多くのテスト参加者を使用することに対するほとんどの議論は間違っていますが、いくつかのテストはより大きく、いくつかはより小さくなければなりません。
私の理解では、上記の答えは調査のusabilityの側面に関連しています。つまり、ユーザビリティの観点からは、この調査結果は5人のユーザーを使用した代表的なものですが、実際には他の洞察も代表的である必要があるという意味ではありません。たとえば、ユーザーが「この金額でこの製品を購入しない」と言った場合、必ずしも市場がそれを購入しないというわけではありませんが、価値提案が必要であることを示唆している可能性があります。より良い検証。
したがって、到着した矛盾する結果のタイプを区別する必要があることに同意し、特にユーザビリティの問題を反映する結果について話している場合は、それらをマージして、結果のスーパーセット全体を処理するのではなく、選択する必要はありません。テストAまたはテストB。
Usability issue 1 Usability issue 2 Usability issue 3
Test A: Exists Does not Exist Exists
Test B: Does not exist Exists Exists
このようにして、ソリューションがより包括的であると主張できます。
最後のコメントの1つは、これを管理する方法です。アプローチに反対する人もいますが、それをどのように決定するかはあなた次第です。幸運なあなたの次の動きをする間、私はさまざまなタイプの調査結果にスポットライトを当てる必要がありました。
はい、管理された環境外で行われたユーザビリティテストの結果を信頼できます。 （私はあなたが社内ラボを意味していると思います。）チェックアウト Guerrilla Testing は、ユーザーの自然環境で行われます。 （キックについては、 酔ったユーザーのテスト も参照してください。）
しかし、あなたの本当の質問は、上司が行ったユーザビリティテストを信頼できるのか、それとも結果を歪曲するのがどれほど簡単かを理解していない他の人が信頼できるのかどうかだと思います。いいえ、それらの結果を信頼することはできません。先導的な質問をしたり、多くの支援をしたり、ユーザーにヒントを与えたり、態度を偏らせたりすることは簡単です。