web-dev-qa-db-ja.com

ウェブサイトのすべてのファイルをダウンロードする

このリンクの下にあるすべてのファイルをダウンロードする必要があります。各リンクで郊外の名前だけが変化し続けます

単なる参照 https://www.data.vic.gov.au/data/dataset/2014-town-and-community-profile-for-thornbury-suburb

この検索リンクの下のすべてのファイル： https://www.data.vic.gov.au/data/dataset?q=2014+town+and+community+profile

何か可能性は？

ありがとう:)

pythonrdownloadwebclient-download
9
Bharath

このようにファイルをダウンロードできます

import urllib2
response = urllib2.urlopen('http://www.example.com/file_to_download')
html = response.read()

ページ内のすべてのリンクを取得するには

from bs4 import BeautifulSoup

import requests
r  = requests.get("http://site-to.crawl")
data = r.text
soup = BeautifulSoup(data)

for link in soup.find_all('a'):
    print(link.get('href'))
13
naren

あなたはこれを2つの方法で行うことができます1.コードによる2.ソフトウェアによる

1.コードによる

beautifulSoup、JSoupなどのWeb Scrapperライブラリを使用する

それが機能しない場合、またはボタンをクリックしてSeleniumを使用する必要がある場合。

2.ソフトウェアによる

これを行うにはInternet Download Manager'sグラバー機能を使用します

0
Mohmmad Mansuri