品質と興味を個別に評価する機会をユーザーに与える必要がありますか？
私はユーザーにニュース記事を1〜5つ星で評価するオプションを提供しています。ユーザーの評価に基づいて、記事の質と興味を判断しようとしています。私の最初の考えは：
- インタレスト=評価の総数
- 品質=平均評価
つまりユーザーは興味のある記事を評価し、高品質の記事に対してより高い評価を与えます。問題は、記事の質に関係なく、ユーザーが記事に興味の兆候として肯定的な評価を付けたり、興味のない兆候として否定的な評価を付けたりする可能性があることです。したがって、正/負の評価は、関心や品質を示している場合もあれば、ユーザーの意図に依存していない場合もあります。メトリックが重複し、混乱を招きます。
これに対する1つの解決策は、コンテンツを評価する2つの方法をユーザーに提供することです。
"Does the subject of this article interest you?" (YES/NO)
"What do you think of the quality of this article?" 1-5 stars
これにより、データの使用方法がより明確になりますが、ユーザーが混乱する可能性があります。これは良い考えだと思いますか？コンテンツの品質と関心を判断するより良い方法はありますか？
TL; DRバージョン：しないでください。単純な評価で機能し、質の高い限られたデータがいくつか提供されます。より多くのデータが必要な場合は機能するアプローチがありますが、2番目の質問を追加するよりもはるかに複雑です。 2番目の質問のような自作の方法は、本物と誤解を招くように見える大量の質の悪いデータを提供し、さらにそれらはユーザーエクスペリエンスを低下させます。
ユーザーの満足度と関連する概念を測定することは、表面的には簡単に見える（「ただ尋ねる」）にもかかわらず、非常に複雑なトピックです。
5つ星の評価では、製品の品質は測定されません。それは、製品に対する消費者の感情の価数と強さを測定します。これは重要な違いです。 1つ目は、認知機能で評価する必要がある製品の客観的な特性です。 2つ目は、消費者の感情領域の一部です。 （認知、影響、および感情の違いが明確でない場合は、Wikipediaの記事が適切な出発点になります）。
自己申告による影響の測定は簡単です。人間は、少なくとも「私はこれが好き」または「私はこれが嫌いだ」と言う基本的なレベルで、自分の感情を知っています。彼らにあなたにいくつかの星を与えるように頼むとき、彼らはそれを非常に正確に行うことができます。また、これに対する彼ら自身の努力はかなり低いです。彼らはすでに知っていることを報告するだけです。最悪の場合、あなたのスケールは彼らの気持ちに対して十分に細かくなく、彼らの評価はそれらの間にあり、どちらも正しくないと感じるので、彼らは3つまたは4つ星を与えるかどうか疑問に思うでしょう。
何かを分析的に評価するように人々に要求することは、彼らにとって困難です。それは仕事なので、彼らはそれをすることを嫌います。それを行うことに対する最初の議論があります-ユーザーエクスペリエンスは大幅に低下します。しかし、おそらくさらに悪いことに、彼らは間違いを犯します。あなたが彼らに与える仕事が難しいほど、彼らは間違いを犯す可能性が高くなります。そして、あなたがここで彼らに与えようとしている仕事は本当に難しいです。彼らがすぐにアクセスできるのは自分の感情です。あなたが彼らに提供するように求めているのは、この感情のドライバー、つまり彼らが製品を好きまたは嫌いだと「決めた」理由です。そして、人々は自分の感情状態について推論するのが本当にお粗末です。とにかく彼らにそれを強制しようとすると、彼らは間違っていることに気付かずに間違った結果を報告します。この方法で収集されたデータから行った結論も間違っている可能性があります。
人の気持ちを説明できない例がたくさんあります。興味深いものには、感情予測の現象（研究は主にギルバートIIRCによって推進されていますが、ウィキペディアの記事が最も重要なポイントをカバーしています）と確信感があります— Burton、Robertを参照してくださいあなたが正しくなくてもあなたが正しいと信じる（Macmillan、2009）非常に素晴らしいポップサイエンスのテキスト。あなたのケースに近いもう1つの問題は、スタック交換ネットワークのここで発生します。 「非常に低い品質」フラグのダウン投票とキャストの違いは 十分に文書化されていますおよびUIで説明されていますが、ユーザーは混乱し続けます。私が考えていることは、人々が答えを嫌い、「役に立たない」と反対に投票する理由を振り返るのではなく、両方を自分の影響の表現として使用し、「意味がわからないので理解するのが難しいほど理解が難しい」というフラグを立てているということです。それのうち」。
これは、70年代のマーケティング研究者にも起こりました。彼らはここであなたがしようとしていることを正確に実行し、重要なパフォーマンス分析の概念を作成しました（参考文献：Martilla、John A.、およびJohn C.ジェームズ、「重要業績分析」The Journal of Marketing（1977）：77-79。）。そこで、消費者は、製品が特定の次元で品質においてどれだけうまく機能するかを評価するよう求められます（これはおそらく、品質の質問で知りたいことに対応していますが、次元を区別していないだけです）、この次元の重要性それらに（あなたがより抽象的なレベルでそれを求めているとしても、これはあなたの興味の質問にいくらかの類似点があります）。何十年もの研究の後、ツールとしての重要性パフォーマンス分析の有用性を評価しようとする研究があり、彼らはいくつかの重要な弱点を発見しました。最悪なのは、スケールが独立していないことでした。人々は両方のスケールですべてを高く評価したり低く評価したりする傾向がありました。これは、質問に答えるときに2つの概念を明確に区別していないことを示しています。重要度パフォーマンス分析の弱点の包括的なリストは、書籍Satisfaction（Oliver、Richard L.、Satisfaction：A Behavioral Perspective on the Consumer、ME Sharpe、2010に記載されています。 。）。
マーケティングと心理学における数十年にわたる研究の結果は明らかです。単純なアプローチを使用すると、限られた情報（ユーザーの好みを知るという単純な問題を解決）を得ることができますが、それでも非常に役立ちます。ご覧のように、多くの企業がこれを使用して、良い結果を得ています。より深い情報が本当に必要な場合（ユーザーが何かを好む理由を学習するという難しい問題を解決する場合）は、非常に複雑な適切なアプローチを使用する必要があります。スタンドアロンのマーケティング調査が含まれます。これは単独で実行し、Webサイトの製品評価ツールに統合しないでください（実行する担当者の経験が必要なためおよび参加者からの多くの注意）。しかし、難しい問題を解決できる単純なアプローチはありません。あなたがそれを見つけることができれば、おそらくノーベル価格のマーケティング類似物を手に入れるでしょう。
ユーザーがニュースフィードページにいて、興味のない記事を見つけた場合、今日の多くのWebサイトでの広告の場合と同様に、この記事を非表示にできます（たとえば、×印をクリックして）。答えみたい
Does the subject of this article interest you ? NO
より良いコンテンツのために、より良い個人ユーザー体験のためにニュースをすでにフィルタリングしているタグ（文化、テクノロジー、政治など）についても考えてください。
より具体的な評価を取得するために、別の（ただし直感的な）評価システムを提供できます。 buzzfeed.com を見てください。彼らはこの古典的な5つ星の評価や単純な突き上げ/突き下げシステムを備えていませんが、ユーザーはさまざまな反応から選択できます（また、投稿を高く評価/低く評価します）。
より一般的には、ユーザーが2秒間以上を費やして簡単な記事を評価することは、特に毎日10通以上のニュースを読んでいる場合は望ましくありません。ですから、嫌いなものを隠してもらい、あまり頼まないようにします。