web-dev-qa-db-ja.com

Rightmove APIと技術的および合法的なスクレイピング

プロパティデータを使用してアプリを構築したいと考えています。 Nestoriaには無料のAPIと使用規則があり、Zooplaは登録したAPIです。 OnTheMarketとRightmoveは、手紙の使用条件が同じです（競合他社にとっては奇妙なことですか？）。 Rightmoveはアップロード用のAPIをアドバタイズしますが、ダウンロードはアドバタイズしません-OnTheMarketに何も見つかりません。

ポストコード検索は独自のアウトコードマッピングによって難読化されていますが、RightmoveにはAPIがあることを発見しました...

https://api.rightmove.co.uk/api/sale/find?index=0&sortType=1&numberOfPropertiesRequested=2&locationIdentifier=OUTCODE%5E1&apiApplication=IPAD

宣伝されていないAPIの使用には注意が必要です。別の方法はスクレイピングです。これは技術的および法的に疑わしいものですが、私が読んだデータはパブリックドメインにあり、自由に使用できます。

Rightmoveに連絡しましたが、応答がありません。

誰かがRightmove APIを使用していて、これを許可されていますか？それがオープンで利用可能であることが最も奇妙に思われますが、それを検索するときにほとんど言及されていません。

誰もがデータをスクレイピングするためにどのようなルール/法律/倫理が整っているかを明確にすることができますか？

apiscreen-scraping
10
Failing Coder

非表示のAPIをクエリしないでください。しかし、RightMove.co.uk WebサイトでWebクローラーを実行できます。セクション3.3の 利用規約 で概説されているように、これは完全に合法です。

自動プログラムを使用したり使用したりしてはなりません自動プログラムがユーザーエージェントフィールドで自分自身を一意に識別している場合であり、ロボット除外プロトコルに完全に準拠している場合を除く

Apache NutchのようなWebクローラーは、Robots Exclusion Protocolに完全に従っています。 From their robots.txt file 私は彼らが手の込んだネストされたsitemap.xmlファイルを持っていることを発見しました、そしてそれゆえ彼らはむしろ彼らのウェブサイトの整然とした丁寧なクロールを促進します。私は自分のデータを取得したかったので、リソースでクロールするように努めています。このデータにアクセスする必要がある場合はお知らせください。

10
Tushar Goswami

あなたは彼らのデータをこすることは許可されていません、ここで彼らの利用規約はそれについて述べています：

「当社のシステムまたはこのサイトにアクセスするために、自動プログラム（スパイダーまたはその他のWebクローラーを含むがこれに限定されない）を使用または試行してはなりません。サイトでスクレイピング技術を使用してはなりません。そのような使用または試行自動化されたプログラムの使用は、当社のシステムおよび本サイトの誤用となるものとします。かかる自動化されたプログラムを使用して、当社のシステムまたは本サイトのいずれかの部分にアクセスすることは、厳密に無許可です。」

0
user12627702