web-dev-qa-db-ja.com

ScrapeイントラネットWebサイト

私は個人的な測候所を持っています私のLANに接続されているWeb UIを介してその情報(温度、降雨、湿度など)を提供します。 この情報をスクレイプしたいので、独自のより良いWebページを作成し、スプレッドシートに毎日の天気を記録できます。

parsehubimport.ioのようなスクレーパーがありますが、それらは私のホームネットワークにローカルに存在するウェブサイトにアクセスできないことを意味するクラウドから動作するようです。

定期的にローカルWebサイトからコンテンツをスクレイピングする最良の方法は何ですか?

1
Islay

サイトがブラウザで利用可能な場合、定期的にスクレイピング可能です。これは、サイトがIPアドレスなどの通常のインターネットアドレスを持っているためです。

あなたの仕事は私にはかなり単純なようです:

  • 気象ステーションのWeb UIを開き、
  • 取得するサイト要素のXPathを認識します。 Chrome dev.tools->右クリック-> copyXPathを使用します
  • それらをGoogle Spreadsheatsと= importXML()にスクレイピングします

= importxmlとGspreadsheatsでスクレイピングする方法

2
Evgeniy