Javaを使用してインターネットからファイルをダウンロードして保存する方法
オンラインファイル（http://www.example.com/information.aspなど）があり、それを取得してディレクトリに保存する必要があります。オンラインファイル（URL）を1行ずつ取得して読み取る方法はいくつかありますが、Javaを使用してファイルをダウンロードして保存する方法はありますか？
Java NIO を試してみてください。
URL website = new URL("http://www.website.com/information.asp");
ReadableByteChannel rbc = Channels.newChannel(website.openStream());
FileOutputStream fos = new FileOutputStream("information.html");
fos.getChannel().transferFrom(rbc, 0, Long.MAX_VALUE);
transferFrom()の使用は潜在的にソースチャンネルから読み込みそしてこのチャンネルに書き込む単純なループよりはるかに効率的です。多くのオペレーティングシステムは実際にそれらをコピーすることなしにソースチャンネルから直接ファイルシステムキャッシュにバイトを転送できます。
それについてもっと調べてください ここ 。
注：transferFromの3番目のパラメーターは、転送する最大バイト数です。Integer.MAX_VALUEは最大2 ^ 31バイト、Long.MAX_VALUEは最大2 ^ 63バイトを許容します（存在するファイルよりも大きい）。
Apache commons-io を1行のコードで使用してください。
FileUtils.copyURLToFile(URL, File)
より簡単なnioの使い方：
URL website = new URL("http://www.website.com/information.asp");
try (InputStream in = website.openStream()) {
Files.copy(in, target, StandardCopyOption.REPLACE_EXISTING);
}
public void saveUrl(final String filename, final String urlString)
throws MalformedURLException, IOException {
BufferedInputStream in = null;
FileOutputStream fout = null;
try {
in = new BufferedInputStream(new URL(urlString).openStream());
fout = new FileOutputStream(filename);
final byte data[] = new byte[1024];
int count;
while ((count = in.read(data, 0, 1024)) != -1) {
fout.write(data, 0, count);
}
} finally {
if (in != null) {
in.close();
}
if (fout != null) {
fout.close();
}
}
}
おそらくこのメソッドの外部で、例外を処理する必要があります。
ファイルをダウンロードするには、それを読む必要があります。どちらかの方法でファイルを調べる必要があります。行ごとではなく、ストリームからバイト単位で読み取ることができます。
BufferedInputStream in = new BufferedInputStream(new URL("http://www.website.com/information.asp").openStream())
byte data[] = new byte[1024];
int count;
while((count = in.read(data,0,1024)) != -1)
{
out.write(data, 0, count);
}
これは古い質問ですが、これはエレガントなJDKのみの解決策です。
public static void download(String url, String fileName) throws Exception {
try (InputStream in = URI.create(url).toURL().openStream()) {
Files.copy(in, Paths.get(fileName));
}
}
簡潔で読みやすく、適切にクローズされたリソースで、JDKと言語のコア機能以外は何も利用していません。
Java 7+を使用するとき、インターネットからファイルをダウンロードしてそれを何らかのディレクトリに保存するために以下のメソッドを使います：
private static Path download(String sourceURL, String targetDirectory) throws IOException
{
URL url = new URL(sourceURL);
String fileName = sourceURL.substring(sourceURL.lastIndexOf('/') + 1, sourceURL.length());
Path targetPath = new File(targetDirectory + File.separator + fileName).toPath();
Files.copy(url.openStream(), targetPath, StandardCopyOption.REPLACE_EXISTING);
return targetPath;
}
ドキュメンテーション ここ 。
この回答は選択された回答とほぼ同じですが、2つの機能拡張があります。それはメソッドであり、FileOutputStreamオブジェクトを閉じるというものです。
public static void downloadFileFromURL(String urlString, File destination) {
try {
URL website = new URL(urlString);
ReadableByteChannel rbc;
rbc = Channels.newChannel(website.openStream());
FileOutputStream fos = new FileOutputStream(destination);
fos.getChannel().transferFrom(rbc, 0, Long.MAX_VALUE);
fos.close();
rbc.close();
} catch (IOException e) {
e.printStackTrace();
}
}
import Java.io.*;
import Java.net.*;
public class filedown {
public static void download(String address, String localFileName) {
OutputStream out = null;
URLConnection conn = null;
InputStream in = null;
try {
URL url = new URL(address);
out = new BufferedOutputStream(new FileOutputStream(localFileName));
conn = url.openConnection();
in = conn.getInputStream();
byte[] buffer = new byte[1024];
int numRead;
long numWritten = 0;
while ((numRead = in.read(buffer)) != -1) {
out.write(buffer, 0, numRead);
numWritten += numRead;
}
System.out.println(localFileName + "\t" + numWritten);
}
catch (Exception exception) {
exception.printStackTrace();
}
finally {
try {
if (in != null) {
in.close();
}
if (out != null) {
out.close();
}
}
catch (IOException ioe) {
}
}
}
public static void download(String address) {
int lastSlashIndex = address.lastIndexOf('/');
if (lastSlashIndex >= 0 &&
lastSlashIndex < address.length() - 1) {
download(address, (new URL(address)).getFile());
}
else {
System.err.println("Could not figure out local file name for "+address);
}
}
public static void main(String[] args) {
for (int i = 0; i < args.length; i++) {
download(args[i]);
}
}
}
個人的に、私は ApacheのHttpClient がこれに関して私がする必要があるすべてのものの能力以上であることを発見しました。 ここ はHttpClientの使い方に関する素晴らしいチュートリアルです。
これは、 Brian Riskの答え に基づいたtry-withステートメントの使用による、もう1つのJava 7バリアントです。
public static void downloadFileFromURL(String urlString, File destination) throws Throwable {
URL website = new URL(urlString);
try(
ReadableByteChannel rbc = Channels.newChannel(website.openStream());
FileOutputStream fos = new FileOutputStream(destination);
){
fos.getChannel().transferFrom(rbc, 0, Long.MAX_VALUE);
}
}
ここには多くのエレガントで効率的な答えがあります。しかし、簡潔さは私たちがいくつかの有用な情報を失うことを可能にします。特に、1つの は接続エラーをException と見なしたくないことが多く、たとえばダウンロードを再試行する必要があるかどうかを判断するためなど、ネットワーク関連のエラーを別の方法で扱いたい場合があります。
これは、ネットワークエラーに対して例外をスローしない方法です（不正なURLやファイルへの書き込みに関する問題など、本当に例外的な問題に対してのみ）。
/**
* Downloads from a (http/https) URL and saves to a file.
* Does not consider a connection error an Exception. Instead it returns:
*
* 0=ok
* 1=connection interrupted, timeout (but something was read)
* 2=not found (FileNotFoundException) (404)
* 3=server error (500...)
* 4=could not connect: connection timeout (no internet?) Java.net.SocketTimeoutException
* 5=could not connect: (server down?) Java.net.ConnectException
* 6=could not resolve Host (bad Host, or no internet - no dns)
*
* @param file File to write. Parent directory will be created if necessary
* @param url http/https url to connect
* @param secsConnectTimeout Seconds to wait for connection establishment
* @param secsReadTimeout Read timeout in seconds - trasmission will abort if it freezes more than this
* @return See above
* @throws IOException Only if URL is malformed or if could not create the file
*/
public static int saveUrl(final Path file, final URL url,
int secsConnectTimeout, int secsReadTimeout) throws IOException {
Files.createDirectories(file.getParent()); // make sure parent dir exists , this can throw exception
URLConnection conn = url.openConnection(); // can throw exception if bad url
if( secsConnectTimeout > 0 ) conn.setConnectTimeout(secsConnectTimeout * 1000);
if( secsReadTimeout > 0 ) conn.setReadTimeout(secsReadTimeout * 1000);
int ret = 0;
boolean somethingRead = false;
try (InputStream is = conn.getInputStream()) {
try (BufferedInputStream in = new BufferedInputStream(is); OutputStream fout = Files
.newOutputStream(file)) {
final byte data[] = new byte[8192];
int count;
while((count = in.read(data)) > 0) {
somethingRead = true;
fout.write(data, 0, count);
}
}
} catch(Java.io.IOException e) {
int httpcode = 999;
try {
httpcode = ((HttpURLConnection) conn).getResponseCode();
} catch(Exception ee) {}
if( somethingRead && e instanceof Java.net.SocketTimeoutException ) ret = 1;
else if( e instanceof FileNotFoundException && httpcode >= 400 && httpcode < 500 ) ret = 2;
else if( httpcode >= 400 && httpcode < 600 ) ret = 3;
else if( e instanceof Java.net.SocketTimeoutException ) ret = 4;
else if( e instanceof Java.net.ConnectException ) ret = 5;
else if( e instanceof Java.net.UnknownHostException ) ret = 6;
else throw e;
}
return ret;
}
単純な使い方には問題があります。
org.Apache.commons.io.FileUtils.copyURLToFile(URL, File)
非常に大きなファイルをダウンロードして保存する必要がある場合、または一般に、接続が切断された場合に自動再試行が必要な場合。
そのような場合に私が提案するのは、org.Apache.commons.io.FileUtilsと一緒のApache HttpClientです。例えば：
GetMethod method = new GetMethod(resource_url);
try {
int statusCode = client.executeMethod(method);
if (statusCode != HttpStatus.SC_OK) {
logger.error("Get method failed: " + method.getStatusLine());
}
org.Apache.commons.io.FileUtils.copyInputStreamToFile(
method.getResponseBodyAsStream(), new File(resource_file));
} catch (HttpException e) {
e.printStackTrace();
} catch (IOException e) {
e.printStackTrace();
} finally {
method.releaseConnection();
}
underscore-Java libraryにメソッドU.fetch（url）があります。
pom.xml：
<groupId>com.github.javadev</groupId>
<artifactId>underscore</artifactId>
<version>1.40</version>
コード例：
import com.github.underscore.lodash.U;
public class Download {
public static void main(String ... args) {
String text = U.fetch("https://stackoverflow.com/questions"
+ "/921262/how-to-download-and-save-a-file-from-internet-using-Java").text();
}
}
以前の答えを要約します（そして、どういうわけか磨き、更新します）。以下の3つの方法は実質的に同等です。 （接続が失われたときにダウンロードを永久にフリーズさせたくないと思うので、タイムアウトを明示的に追加しました。）
public static void saveUrl1(final Path file, final URL url,
int secsConnectTimeout, int secsReadTimeout))
throws MalformedURLException, IOException {
// Files.createDirectories(file.getParent()); // optional, make sure parent dir exists
try (BufferedInputStream in = new BufferedInputStream(
streamFromUrl(url, secsConnectTimeout,secsReadTimeout) );
OutputStream fout = Files.newOutputStream(file)) {
final byte data[] = new byte[8192];
int count;
while((count = in.read(data)) > 0)
fout.write(data, 0, count);
}
}
public static void saveUrl2(final Path file, final URL url,
int secsConnectTimeout, int secsReadTimeout))
throws MalformedURLException, IOException {
// Files.createDirectories(file.getParent()); // optional, make sure parent dir exists
try (ReadableByteChannel rbc = Channels.newChannel(
streamFromUrl(url, secsConnectTimeout,secsReadTimeout)
);
FileChannel channel = FileChannel.open(file,
StandardOpenOption.CREATE,
StandardOpenOption.TRUNCATE_EXISTING,
StandardOpenOption.WRITE)
) {
channel.transferFrom(rbc, 0, Long.MAX_VALUE);
}
}
public static void saveUrl3(final Path file, final URL url,
int secsConnectTimeout, int secsReadTimeout))
throws MalformedURLException, IOException {
// Files.createDirectories(file.getParent()); // optional, make sure parent dir exists
try (InputStream in = streamFromUrl(url, secsConnectTimeout,secsReadTimeout) ) {
Files.copy(in, file, StandardCopyOption.REPLACE_EXISTING);
}
}
public static InputStream streamFromUrl(URL url,int secsConnectTimeout,int secsReadTimeout) throws IOException {
URLConnection conn = url.openConnection();
if(secsConnectTimeout>0) conn.setConnectTimeout(secsConnectTimeout*1000);
if(secsReadTimeout>0) conn.setReadTimeout(secsReadTimeout*1000);
return conn.getInputStream();
}
大きな違いはありませんが、すべて私には正しいようです。それらは安全で効率的です。 （速度の違いはほとんど関係ないようです - 私はローカルサーバーからSSDディスクに180MBを書き込みますが、時々1.2から1.5セグに変動します）。彼らは外部ライブラリを必要としません。すべて私が経験したところでは任意のサイズとHTTPリダイレクトで動作します。
さらに、リソースが見つからない場合はすべてFileNotFoundExceptionがスローされ（通常はエラー404）、DNS解決に失敗した場合はJava.net.UnknownHostExceptionがスローされます。他のIOExceptionは送信中のエラーに対応します。
（コミュニティWikiとしてマークされています、情報や修正を追加してください）
Commons-IOの代わりにApacheのHttpComponentsでファイルをダウンロードすることは可能です。このコードでは、URLに従ってJavaでファイルをダウンロードし、特定の場所に保存することができます。
public static boolean saveFile(URL fileURL, String fileSavePath) {
boolean isSucceed = true;
CloseableHttpClient httpClient = HttpClients.createDefault();
HttpGet httpGet = new HttpGet(fileURL.toString());
httpGet.addHeader("User-Agent", "Mozilla/5.0 (Windows NT 6.3; WOW64; rv:34.0) Gecko/20100101 Firefox/34.0");
httpGet.addHeader("Referer", "https://www.google.com");
try {
CloseableHttpResponse httpResponse = httpClient.execute(httpGet);
HttpEntity fileEntity = httpResponse.getEntity();
if (fileEntity != null) {
FileUtils.copyInputStreamToFile(fileEntity.getContent(), new File(fileSavePath));
}
} catch (IOException e) {
isSucceed = false;
}
httpGet.releaseConnection();
return isSucceed;
}
単一行のコードとは対照的に、
FileUtils.copyURLToFile(fileURL, new File(fileSavePath),
URLS_FETCH_TIMEOUT, URLS_FETCH_TIMEOUT);
このコードにより、プロセスをより細かく制御でき、タイムアウトだけでなくUser-AgentとRefererの値も指定できます。これは、多くのWebサイトで重要です。
public class DownloadManager {
static String urls = "[WEBSITE NAME]";
public static void main(String[] args) throws IOException{
URL url = verify(urls);
HttpURLConnection connection = (HttpURLConnection) url.openConnection();
InputStream in = null;
String filename = url.getFile();
filename = filename.substring(filename.lastIndexOf('/') + 1);
FileOutputStream out = new FileOutputStream("C:\\Java2_programiranje/Network/DownloadTest1/Project/Output" + File.separator + filename);
in = connection.getInputStream();
int read = -1;
byte[] buffer = new byte[4096];
while((read = in.read(buffer)) != -1){
out.write(buffer, 0, read);
System.out.println("[SYSTEM/INFO]: Downloading file...");
}
in.close();
out.close();
System.out.println("[SYSTEM/INFO]: File Downloaded!");
}
private static URL verify(String url){
if(!url.toLowerCase().startsWith("http://")) {
return null;
}
URL verifyUrl = null;
try{
verifyUrl = new URL(url);
}catch(Exception e){
e.printStackTrace();
}
return verifyUrl;
}
}
以下はJavaコードでインターネットから映画をダウンロードするためのサンプルコードです：
URL url = new
URL("http://103.66.178.220/ftp/HDD2/Hindi%20Movies/2018/Hichki%202018.mkv");
BufferedInputStream bufferedInputStream = new BufferedInputStream(url.openStream());
FileOutputStream stream = new FileOutputStream("/home/sachin/Desktop/test.mkv");
int count=0;
byte[] b1 = new byte[100];
while((count = bufferedInputStream.read(b1)) != -1) {
System.out.println("b1:"+b1+">>"+count+ ">> KB downloaded:"+new File("/home/sachin/Desktop/test.mkv").length()/1024);
stream.write(b1, 0, count);
}
netloader for Java を使用して1行でこれを実行できます。
new NetFile(new File("my/zips/1.Zip"), "https://example.com/example.Zip", -1).load(); //returns true if succeed, otherwise false.
プロキシの背後にいる場合は、Javaプログラムで次のようにプロキシを設定できます。
Properties systemSettings = System.getProperties();
systemSettings.put("proxySet", "true");
systemSettings.put("https.proxyHost", "https proxy of your org");
systemSettings.put("https.proxyPort", "8080");
あなたがプロキシの背後にいないのであれば、上記の行をコードに含めないでください。プロキシの背後にいるときにファイルをダウンロードするための完全に機能するコード。
public static void main(String[] args) throws IOException {
String url="https://raw.githubusercontent.com/bpjoshi/fxservice/master/src/test/Java/com/bpjoshi/fxservice/api/TradeControllerTest.Java";
OutputStream outStream=null;
URLConnection connection=null;
InputStream is=null;
File targetFile=null;
URL server=null;
//Setting up proxies
Properties systemSettings = System.getProperties();
systemSettings.put("proxySet", "true");
systemSettings.put("https.proxyHost", "https proxy of my organisation");
systemSettings.put("https.proxyPort", "8080");
//The same way we could also set proxy for http
System.setProperty("Java.net.useSystemProxies", "true");
//code to fetch file
try {
server=new URL(url);
connection = server.openConnection();
is = connection.getInputStream();
byte[] buffer = new byte[is.available()];
is.read(buffer);
targetFile = new File("src/main/resources/targetFile.Java");
outStream = new FileOutputStream(targetFile);
outStream.write(buffer);
} catch (MalformedURLException e) {
System.out.println("THE URL IS NOT CORRECT ");
e.printStackTrace();
} catch (IOException e) {
System.out.println("Io exception");
e.printStackTrace();
}
finally{
if(outStream!=null) outStream.close();
}
}