センチメント分析のためのトレーニングデータ

Question

企業ドメインで感情の肯定/否定として既に分類されているドキュメントのコーパスはどこで入手できますか？アナリストやメディアが提供する企業のレビューなど、企業のレビューを提供するドキュメントの大規模なコーパスが必要です。

製品や映画のレビューがあるコーパスを見つけました。ビジネスの言語に一致する、企業のレビューを含むビジネスドメインのコーパスはありますか？

Answer 1

http://www.cs.cornell.edu/home/llee/data/

http://mpqa.cs.pitt.edu/corpora/mpqa_corpus

次のように、スマイリーでTwitterを使用できます。 http://web.archive.org/web/20111119181304/http://deepthoughtinc.com/wp-content/uploads/2011/01/Twitter- as-a-Corpus-for-Sentiment-Analysis-and-Opinion-Mining.pdf

それがあなたを始めることを願っています。否定、センチメントスコープなどの特定のサブタスクに興味がある場合は、文献に詳細があります。

企業に焦点を当てるには、メソッドとトピック検出を組み合わせたり、安価に特定の企業の多くの言及を組み合わせたりすることができます。または、メカニカルターカーによって注釈をデータに付けることもできます。

Answer 2

これは、数週間前に my blog から書いたリストです。これらのデータセットの一部は、最近NLTK Pythonプラットフォームに含まれています。

レキシコン

• オピニオンレキシコンby Bing Liu

  • [〜＃〜] url [〜＃〜]： http://www.cs.uic.edu/~liub/FBS /sentiment-analysis.html#Lexicon
  • [〜＃〜] papers [〜＃〜]： 顧客レビューのマイニングとサマリ
  • [〜＃〜] notes [〜＃〜]：NLTKに含まれるPythonプラットフォーム

• MPQA主観性辞書

  • [〜＃〜] url [〜＃〜]： http://mpqa.cs.pitt.edu/#subj_Lexicon =
  • [〜＃〜] papers [〜＃〜]： フレーズレベルの感情分析における文脈的極性の認識（Theresa Wilson、Janyce Wiebe、 and Paul Hoffmann、2005） 。

• SentiWordNet

  • [〜＃〜] url [〜＃〜]： http://sentiwordnet.isti.cnr.it
  • [〜＃〜] notes [〜＃〜]：NLTKに含まれるPythonプラットフォーム

• Harvard General Inquirer

  • [〜＃〜] url [〜＃〜]： http://www.wjh.harvard.edu/~inquirer =
  • [〜＃〜] papers [〜＃〜]： The General Inquirer：A Computer Approach to Content Analysis（Stone、Philip J;デクスター・C・ダンフィー、マーシャル・S・スミス、ダニエル・M・オギルビー1966）

• 言語的問い合わせと単語数（LIWC）

  • [〜＃〜] url [〜＃〜]： http://www.liwc.net

• Vader Lexicon

  • URLs： https://github.com/cjhutto/vaderSentiment 、 http://comp.social .gatech.edu/papers
  • [〜＃〜] papers [〜＃〜]： Vader：ソーシャルメディアテキストの感情分析のためのpar約的なルールベースのモデル（ Hutto、Gilbert。2014）

---

データセット

• MPQAデータセット

  • [〜＃〜] url [〜＃〜]： http://mpqa.cs.pitt.ed

  • [〜＃〜] notes [〜＃〜]：GNU Public License。

    • 政治討論データ
    • 製品討論データ
    • 主観感覚の注釈

• Sentiment140（ツイート）

  • [〜＃〜] url [〜＃〜]： http://help.sentiment140.com/for-students
  • [〜＃〜] papers [〜＃〜]： 遠隔監視を使用したTwitter送信分類（Go、Alec、Richa Bhayani、およびLei黄）
  • URLs： http://help.sentiment140.com 、 https://groups.google.com/forum /＃！forum/sentiment14

• STS-Gold（ツイート）

  • [〜＃〜] url [〜＃〜]： http://www.tweenator.com/index.php?page_id= 1
  • [〜＃〜] papers [〜＃〜]： Twitter感情分析の評価データセット（Saif、Fernandez、He、Alani）
  • [〜＃〜] notes [〜＃〜]：Sentiment140と同じですが、データセットは小さく、人間のアノテーターを使用します。ツイート、エンティティ（感情を含む）、集合セットの3つのファイルが付属しています。

• カスタマーレビューデータセット（製品レビュー）

  • [〜＃〜] url [〜＃〜]： http://www.cs.uic.edu/~liub/FBS /sentiment-analysis.html#datasets
  • [〜＃〜] papers [〜＃〜]： 顧客レビューのマイニングとサマリ
  • [〜＃〜] notes [〜＃〜]：レビューのタイトル、製品の特徴、意見の強さを示すポジティブ/ネガティブラベル、その他の情報（比較、代名詞の解決など）

  NLTK Pythonプラットフォームに含まれています

• 賛否両論のデータセット（賛否両論）

  • [〜＃〜] url [〜＃〜]： http://www.cs.uic.edu/~liub/FBS /sentiment-analysis.html#datasets
  • [〜＃〜] papers [〜＃〜]： 比較文のマイニング意見（Ganapathibhotla、Liu 2008）
  • [〜＃〜] notes [〜＃〜]：<pros>または<cons>とタグ付けされた文のリスト

  NLTK Pythonプラットフォームに含まれています

• 比較文（レビュー）

  • [〜＃〜] url [〜＃〜]： http://www.cs.uic.edu/~liub/FBS /sentiment-analysis.html#datasets
  • [〜＃〜] papers [〜＃〜]： テキスト文書の比較文の識別（Nitin JindalとBing Liu） 、 顧客レビューのMining Opinion機能（Minqing HuおよびBing Liu）
  • [〜＃〜] notes [〜＃〜]：文、POSタグ付き文、エンティティ、比較タイプ（等しくない、等しい、最上級、アップグレード不可）

  NLTK Pythonプラットフォームに含まれています

• Sanders Analytics Twitter Sentiment Corpus（ツイート）

  • [〜＃〜] url [〜＃〜]： http://www.sananalytics.com/lab/Twitter-sentiment

  4つの異なるトピックについて5513の手分類ツイート。 TwitterのToSのため、小さなPythonスクリプトが含まれており、すべてのツイートをダウンロードできます。感情分類自体は無料で、制限なしで提供されます。商用製品に使用できます。それらは変更される場合があります。

• スペイン語のツイート（ツイート）

  • [〜＃〜] url [〜＃〜]： http://www.daedalus.es/TASS2013/corpus.php

• SemEval 2014（ツイート）

  • [〜＃〜] url [〜＃〜]： http://alt.qcri.org/semeval2014/task9

  （readmeファイルから）取得したツイート、注釈、またはコーパスを再配布しないでください。

• さまざまなデータセット（レビュー）

  • [〜＃〜] url [〜＃〜]： https://personalwebs.coloradocollege.edu/~mwhitehead/html/opinion_mining .html
  • [〜＃〜] papers [〜＃〜]： 汎用クロスドメイン感情マイニングモデルの構築（ホワイトヘッドとヤイガー） 、 アンサンブル分類モデルを使用した感情マイニング（ホワイトヘッドおよびヤイガー）

• さまざまなデータセット＃2（レビュー）

  • [〜＃〜] url [〜＃〜]： http://www.text-analytics101.com/2011/07/ user-review-datasets_20.html

---

参照：

• Keenformatics-Sentiment Analysis lexicons and datasets （私のブログ）
• 個人的体験

Answer 3

ここにさらにいくつかあります。

http://inclass.kaggle.com/c/si650winter11

http://alias-i.com/lingpipe/demos/tutorial/sentiment/read-me.html

Answer 4

探索したいドメインに関するリソース（メディアチャンネル、ブログなど）がある場合は、独自のコーパスを作成できます。私はPythonでこれを行います：

• beautiful Soupの使用 http://www.crummy.com/software/BeautifulSoup/ 私が分類したいコンテンツを解析するために。
• 企業に関する肯定的/否定的な意見を意味するこれらの文を分離します。
• NLTKを使用して、この文の処理、単語のトークン化、POSタグ付けなどを行います。
• NLTK PMIを使用して、1つのクラスのみで頻繁に発生するバイグラムまたはトライグラムを計算します

コーパスの作成は、前処理、チェック、タグ付けなどの面倒な作業ですが、特定のドメインのモデルを何度も準備することで、精度が何度も向上するという利点があります。準備済みのコーパスを取得できる場合は、センチメント分析を行ってください;）

Answer 5

そのようなコーパスが自由に利用できることは知りませんが、ラベルのないデータセットで nsupervised method を試すことができます。

Answer 6

Datafinitiから多数のオンラインレビューを入手できます。ほとんどのレビューには評価データが付いており、ポジティブ/ネガティブよりも感情の粒度が細かくなります。 レビューのあるビジネスのリスト 、そして レビューのある製品のリスト です。