web-dev-qa-db-ja.com

さまざまなWebサイトからテキストを自動的にコピーする方法

別のウェブサイトからテキストを自動的にコピーする方法を知りたいです。特定の協会に所属する企業のデータベースを構築しています。ウェブサイトには、私が手動でコピーしている各企業の説明が記載された企業のリストがあります。同じプロセスを何度も繰り返しているので、マクロを作成してこれを自動的に作成する方法はありますか?.

または、私がどの言語で似たようなものを開発できるか知っている人はいますか?ありがとう、

4
BDstat

あなたはweb scrapingと呼ばれるテクニックを探しています。これを使用して、データを取得するためのAPIを提供していないWebサイトからデータを収集できます。そのためのツールはたくさんあり、それを行うためのさまざまな言語用のライブラリもたくさんあります(たとえば、Pythonの場合はBeautifulSoupがあります)。許可なくサイトを絶えずスクレイピング/ハンマーで叩くと、法的な問題が発生する可能性があることに注意してください。

1
duenni

「SoftwareRecommendations」には 優れたWebスクレイピングアプリケーションのリスト があり、それらはすべてあなたが必要とすることを行うことができます。

画面のスクレイピングを始めたばかりの場合は、レコーダー付きのツールが最適な場合があります。これにより、すべてのセレクターを手動で作成する必要がなくなります。しかし、すべてのWebサイトで魔法のように機能するソリューションはありません。レコーダーを備えたツールでさえ、ページごとに微調整が必​​要になることがよくあります。

1
Bobby231