Wgetを使用して、次の18個のhtmlファイルをダウンロードしたいと思います。
http://www.ted.com/talks/quick-list?sort=date&order=desc&page=18
http://www.ted.com/talks/quick-list?sort=date&order=desc&page=17
...
http://www.ted.com/talks/quick-list?sort=date&order=desc&page=1
後に何があってもpage=
、それは常にリストの最初のページをダウンロードします。 URLの一部の文字をエスケープする必要がありますか?どうやって?
&
はほとんどのシェル環境での特殊文字です。二重引用符を使用してURLを引用し、すべてをwget
へのパラメーターとして渡すことができます。
wget "http://www.ted.com/talks/quick-list?sort=date&order=desc&page=18"
URLのリストをファイルに保存します(各URLを別の行に!!):
echo "http://www.ted.com/talks/quick-list?sort=date&order=desc&page=18 http://www.ted.com/talks/quick-list?sort=date&order=desc&page=17 ... " > wget_filelist.txt
Wgetを呼び出して、次のものを取得します。
wget -i wget_filelist.txt