Rでrvest
を使用してスクレイピングを行っています。 HTMLとCSSを知っています。
URIのすべての製品の価格を取得したい:
http://www.linio.com.co/tecnologia/celulares-telefonia-gps/
ページを下に移動すると(スクロールすると)、新しいアイテムが読み込まれます。
これまでに行ったこと:
Linio_Celulares <- html("http://www.linio.com.co/celulares-telefonia-gps/")
Linio_Celulares %>%
html_nodes(".product-itm-price-new") %>%
html_text()
そして、私は必要なものを手に入れますが、最初の25の要素(デフォルトの負荷)についてだけです。
[1] "$ 1.999.900" "$ 1.999.900" "$ 1.999.900" "$ 2.299.900" "$ 2.279.900"
[6] "$ 2.279.900" "$ 1.159.900" "$ 1.749.900" "$ 1.879.900" "$ 189.900"
[11] "$ 2.299.900" "$ 2.499.900" "$ 2.499.900" "$ 2.799.000" "$ 529.900"
[16] "$ 2.699.900" "$ 2.149.900" "$ 189.900" "$ 2.549.900" "$ 1.395.900"
[21] "$ 249.900" "$ 41.900" "$ 319.900" "$ 149.900"
質問:この動的セクションのすべての要素を取得するにはどうすればよいですか?
おそらく、すべての要素が読み込まれるまでページをスクロールしてから、html(URL)を使用できます。しかし、これは大変な作業のようです(私は別のセクションでこれを行う予定です)。プログラムによる回避策があるはずです。
@nrussellが示唆したように、ソースコードを取得する前に、RSelenium
を使用してプログラムでページを下にスクロールできます。
たとえば、次のことができます。
library(RSelenium)
library(rvest)
#start RSelenium
checkForServer()
startServer()
remDr <- remoteDriver()
remDr$open()
#navigate to your page
remDr$navigate("http://www.linio.com.co/tecnologia/celulares-telefonia-gps/")
#scroll down 5 times, waiting for the page to load at each time
for(i in 1:5){
remDr$executeScript(paste("scroll(0,",i*10000,");"))
Sys.sleep(3)
}
#get the page html
page_source<-remDr$getPageSource()
#parse it
html(page_source[[1]]) %>% html_nodes(".product-itm-price-new") %>%
html_text()
library(rvest)
url<-"https://www.linio.com.co/c/celulares-y-tablets?page=1"
page<-html_session(url)
html_nodes(page,css=".price-secondary") %>% html_text()
Webサイトをループするhttps://www.linio.com.co/c/celulares-y-tablets?page=2
や3などを使用すると、データを簡単に取得できます
2019年5月7日付けの編集
ウェブサイトの要素が変更されました。したがって、新しいコード
library(rvest)
url<-"https://www.linio.com.co/c/celulares-y-tablets?page=1"
page<-html_session(url)
html_nodes(page,css=".price-main") %>% html_text()