サーバーキャッシュを更新するサイトを定期的にトラバースする必要があります。それは非常に多くの(何千もの)ページを持つデータベース駆動サイトです。同じサーバー上でサイトをローカルにミラーリングするようにwgetを使用するので、このコマンドを使用します。
wget --mirror localhost.
しばらくした後、それはこのメッセージで突然止まります:
応答を待っているHTTPリクエスト...終了しました
それは常に起こりますが、まったく同じURLには起こりません。そして私は同じ結果と同様に別のサーバーを試してみました。
--debugオプションは、役立つ情報を提供せず、Apacheのログファイルも提供しません。
この問題の原因が何でありますか?いくつかのバッファがメモリなどのバッファなどを疑うか、スタックオーバーフロー。
あるいは、同じことをすることができる他のコマンドラインツールはありますか?
それはDebian Lennyの1.11.4 ggetです。
マーティン
私は早期に終わることなくwgetがフルサイトを横断する方法はありませんでしたが、私は - httrack それが完全に仕事をします。