web-dev-qa-db-ja.com

R tm removeWords関数が単語を削除しない

作成したコーパスからいくつかの単語を削除しようとしていますが、機能していないようです。最初にすべてを実行し、単語を頻度順にリストするデータフレームを作成します。このリストを使用して、興味のない単語を特定し、その単語を削除して新しいリストを作成しようとしています。ただし、単語は私のデータセットに残ります。私は何が間違っているのか、なぜ単語が削除されないのか疑問に思っていますか？以下の完全なコードを含めました：

_install.packages("rvest")
install.packages("tm")
install.packages("SnowballC")
install.packages("stringr")
library(stringr) 
library(tm) 
library(SnowballC) 
library(rvest)

# Pull in the data I have been using. 
paperList <- html("http://journals.plos.org/plosone/search?q=nutrigenomics&sortOrder=RELEVANCE&filterJournals=PLoSONE&resultsPerPage=192")
paperURLs <- paperList %>%
  html_nodes(xpath="//*[@class='search-results-title']/a") %>%
  html_attr("href")
paperURLs <- paste("http://journals.plos.org", paperURLs, sep = "")
paper_html <- sapply(1:length(paperURLs), function(x) html(paperURLs[x]))

paperText <- sapply(1:length(paper_html), function(x) paper_html[[1]] %>%
                      html_nodes(xpath="//*[@class='article-content']") %>%
                      html_text() %>%
                      str_trim(.))
# Create corpus
paperCorp <- Corpus(VectorSource(paperText))
for(j in seq(paperCorp))
{
  paperCorp[[j]] <- gsub(":", " ", paperCorp[[j]])
  paperCorp[[j]] <- gsub("\n", " ", paperCorp[[j]])
  paperCorp[[j]] <- gsub("-", " ", paperCorp[[j]])
}

paperCorp <- tm_map(paperCorp, removePunctuation)
paperCorp <- tm_map(paperCorp, removeNumbers)

paperCorp <- tm_map(paperCorp, removeWords, stopwords("english"))

paperCorp <- tm_map(paperCorp, stemDocument)

paperCorp <- tm_map(paperCorp, stripWhitespace)
paperCorpPTD <- tm_map(paperCorp, PlainTextDocument)

dtm <- DocumentTermMatrix(paperCorpPTD)

termFreq <- colSums(as.matrix(dtm))
head(termFreq)

tf <- data.frame(term = names(termFreq), freq = termFreq)
tf <- tf[order(-tf[,2]),]
head(tf)

# After having identified words I am not interested in
# create new corpus with these words removed.
paperCorp1 <- tm_map(paperCorp, removeWords, c("also", "article", "Article", 
                                              "download", "google", "figure",
                                              "fig", "groups","Google", "however",
                                              "high", "human", "levels",
                                              "larger", "may", "number",
                                              "shown", "study", "studies", "this",
                                              "using", "two", "the", "Scholar",
                                              "pubmedncbi", "PubMedNCBI",
                                              "view", "View", "the", "biol",
                                              "via", "image", "doi", "one", 
                                              "analysis"))

paperCorp1 <- tm_map(paperCorp1, stripWhitespace)
paperCorpPTD1 <- tm_map(paperCorp1, PlainTextDocument)
dtm1 <- DocumentTermMatrix(paperCorpPTD1)
termFreq1 <- colSums(as.matrix(dtm1))
tf1 <- data.frame(term = names(termFreq1), freq = termFreq1)
tf1 <- tf1[order(-tf1[,2]),]
head(tf1, 100)
_

_tf1_を見ると、削除するように指定された多くの単語が実際には削除されていないことがわかります。

私は何が間違っているのか、そしてこれらの単語を自分のデータからどのように削除するのでしょうか？

注：head(tm, 100)とhead(tm1, 100)の出力が完全に同じではないため、removeWordsは何かを実行しています。したがって、removeWordsは、私が取り除こうとしている単語の一部のインスタンスを削除しているようですが、すべてのインスタンスを削除しているわけではありません。

rtexttext-miningtmcorpus
9
Adam

私はいくつかのコードを入れ替え、さらに下に追加しました。ストップワードはすべて小文字なので、ストップワードを削除する前に、最初に小文字にする必要があります。

paperCorp <- tm_map(paperCorp, removePunctuation)
paperCorp <- tm_map(paperCorp, removeNumbers)
# added tolower
paperCorp <- tm_map(paperCorp, tolower)
paperCorp <- tm_map(paperCorp, removeWords, stopwords("english"))
# moved stripWhitespace
paperCorp <- tm_map(paperCorp, stripWhitespace)

paperCorp <- tm_map(paperCorp, stemDocument)

すべてを小文字に設定したため、大文字の単語は不要になりました。これらは削除できます。

paperCorp <- tm_map(paperCorp, removeWords, c("also", "article", "Article", 
                                               "download", "google", "figure",
                                               "fig", "groups","Google", "however",
                                               "high", "human", "levels",
                                               "larger", "may", "number",
                                               "shown", "study", "studies", "this",
                                               "using", "two", "the", "Scholar",
                                               "pubmedncbi", "PubMedNCBI",
                                               "view", "View", "the", "biol",
                                               "via", "image", "doi", "one", 
                                               "analysis"))

paperCorpPTD <- tm_map(paperCorp, PlainTextDocument)

dtm <- DocumentTermMatrix(paperCorpPTD)

termFreq <- colSums(as.matrix(dtm))
head(termFreq)

tf <- data.frame(term = names(termFreq), freq = termFreq)
tf <- tf[order(-tf[,2]),]
head(tf)

           term  freq
fatty     fatty 29568
pparα     ppara 23232
acids     acids 22848
gene       gene 15360
dietary dietary 12864
scholar scholar 11904

tf[tf$term == "study"]


data frame with 0 columns and 1659 rows

そしてご覧のように、結果は研究がコーパスではなくなったということです。残りの言葉もなくなりました

15
phiver

誰かが私のようなエラーを受け取り、上記の解決策がまだ機能しない場合は、paperCorp <- tm_map(paperCorp, content_transformer(tolower))の代わりにpaperCorp <- tm_map(paperCorp, tolower)を使用してみてください。tolower()は基本パッケージの関数であり、構造が異なる（つまり、結果の型で何かを変更する）ため、たとえばpaperCorp[[j]]$contentではなくpaperCorp[[j]]のみを使用できます。それは単なる余談であり、誰かにとってはひどいものかもしれません。

5
Peter.k