web-dev-qa-db-ja.com

Ubuntu用のWebスパイダー

このようなUbuntu用のWebスパイダーを探しています Webripper-Calluna Software 。次のようにしてサイト全体をダウンロードできます

wget -r -m example.com

しかし、私が探している機能は、「Linux」などの検索語を入力すると、Webを検索してダウンロードできることです。 Ubuntuにこのようなプログラムはありますか？

software-recommendationdownloads
11
zeitue

Googleアラートを使用してフィードに配信される一種の検索ページを作成し、RSSリーダーまたはThunderbirdを使用してそれらを読むことができます。

RSSにはThunderbirdを使用しています。フィードを単純なhtmlにエクスポートできるRSSリーダーがあるかどうかはわかりません。

4
To Do

Httrack（CLI）またはwebhttrack（Webインターフェース）を試してみてください、それはユニバースリポジトリにあります。あなたが説明する検索用語の機能についてはわかりませんが、簡単に設定できるオプションがたくさんあります。

http://packages.ubuntu.com/de/oneiric/webhttrack

HTTrack Website Copier-フリーソフトウェアオフラインブラウザ（GNU GPL）

9
bkzland

http ripper を試すことができます。

ウェブサイトに投稿された機能は次のとおりです。

Free Software (GPL 3)
Generic (works with almost every website)
Runs on GNU/Linux and Windows
Nearly undetectable / blockable by servers
Built with python and pygtk

http://29a.ch/httpripper/screenshots/2.pngスクリーンショット

Httpripperの開発者自身によるチュートリアルをご覧ください。

ダウンロードリンク：

Ubuntu 11.10 x64の下で私のために働いた

3
blade19899