web-dev-qa-db-ja.com

「最後に変更された」ヘッダーの欠落を回避するにはどうすればよいですか?

私はwgetを実行しています:

wget --mirror --adjust-extension --convert-links --no-cookies http://tshepang.net -o log-main

これらのメッセージがたくさん表示されます:

Last-modified header missing -- time-stamps turned off.

それは、私がローカルに持っていても、ページが再ダウンロードされ続けることを意味すると思います。

[〜#〜] note [〜#〜]:コマンドミラーを実行するたびに既存のファイルを再ダウンロードする必要がないようにするためです。

13
tshepang

-cパラメータを追加してみましたか?

Wgetマニュアルからの抜粋:

-c-続行

Wget 1.7以降、空ではないファイルに対して-cを使用し、サーバーがダウンロードの継続をサポートしていないことが判明した場合、Wgetは既存のコンテンツを事実上台無しにする、最初からのダウンロードの開始を拒否します。ダウンロードを最初からやり直したい場合は、ファイルを削除してください。

また、Wget 1.7以降、サーバー上のファイルと同じサイズのファイルに対して-cを使用すると、Wgetはファイルのダウンロードと説明メッセージの出力を拒否します。サーバー上のファイルがローカルよりも小さい場合にも同じことが起こります(おそらく、最後のダウンロード試行以降にサーバー上で変更されたためと考えられます)---「続行」は意味がないため、ダウンロードは行われません。

コインの反対側では、-cを使用しているときに、サーバー上でローカルよりも大きいファイルは不完全なダウンロードと見なされ、「(length(remote)-length(local))」バイトのみがダウンロードされ、そこに追加されますローカルファイルの終わり。この動作は特定の場合に望ましい場合があります。たとえば、wget -cを使用して、データコレクションまたはログファイルに追加された新しい部分のみをダウンロードできます。

私の知る限り、すでにダウンロードされた同じサイズのファイルはスキップする必要があります。

10
Shinnok