web-dev-qa-db-ja.com

リストからファイルをダウンロードする

wgetまたはその他の自動方法を使用して、テキストファイルにリストされているファイルをダウンロードするにはどうすればよいですか？

サンプルファイルリスト：

www.example.com/1.pdf
www.example.com/2.pdf
www.example.com/3.pdf
wget
125
Sourav

wgetにはこのための組み込みフラグがあります。wget -i your_listman wget

224
aureianimus

並行して取得します

cat urlfile | parallel --gnu "wget {}"

デフォルトでは、コアと同じ数のプロセスを実行します。並列処理の後に「-j 20」を追加することで、本当にすぐにプルダウンしたい場合は、おそらくこれをさらに10倍に増やすことができます。

84
meawoppl
xargs -i wget 'http://{}'  < your_list
10
Florian Diesch

parallelには、入力ファイルをソースとして使用する組み込みフラグ--arg-file（-a）があるため、cat |を避けることができます。使用できます

parallel --gnu -a urlfile wget

または単にparallel --gnu wget < urlfile

7
yxogenium
awk '{print "http://" $0;}' list.txt | xargs -l1 wget

list.txtはリストファイルです

5
flo

Florian Dieschの答えを見ました。

コマンドにパラメーターbqcを含めることで動作するようになりました。

xargs -i wget -bqc 'http://{}' < download.txt

すべてのダウンロードはバックグラウンドで並行して開始されました。

  • -b：バックグラウンド。開始後すぐにバックグラウンドに移動する
  • -q：静か。 wgetの出力をオフにする
  • -c：続行します。部分的にダウンロードされたファイルの取得を続けます
4
streetlife

リンクファイルlinks.txt

すべてのリンクファイルをダウンロードするためのコマンド

    cat links.txt | wget -i
1
DreamCoder