403応答でURLからデータを取得するとき
is = conn.getInputStream();
IOExceptionがスローされ、応答データを取得できません。
しかし、Firefoxを使用してそのURLに直接アクセスすると、ResponseCodeはまだ403ですが、htmlコンテンツを取得できます
HttpURLConnection.getErrorStream
メソッドは InputStream
を返します。これは、javadocsによると、エラー状態(404など)からデータを取得するために使用できます。
HttpURLConnection
の使用例:
String response = null;
try {
URL url = new URL("http://google.com/pagedoesnotexist");
HttpURLConnection connection = (HttpURLConnection) url.openConnection();
// Hack to force HttpURLConnection to run the request
// Otherwise getErrorStream always returns null
connection.getResponseCode();
InputStream stream = connection.getErrorStream();
if (stream == null) {
stream = connection.getInputStream();
}
// This is a try with resources, Java 7+ only
// If you use Java 6 or less, use a finally block instead
try (Scanner scanner = new Scanner(stream)) {
scanner.useDelimiter("\\Z");
response = scanner.next();
}
} catch (MalformedURLException e) {
// Replace this with your exception handling
e.printStackTrace();
} catch (IOException e) {
// Replace this with your exception handling
e.printStackTrace();
}
次のようなものを試してください:
try {
String text = "url";
URL url = new URL(text);
URLConnection conn = url.openConnection();
// fake request coming from browser
conn.setRequestProperty("User-Agent", "Mozilla/5.0 (Windows; U; Windows NT 6.1; en-GB; rv:1.9.2.13) Gecko/20101203 Firefox/3.6.13 (.NET CLR 3.5.30729)");
BufferedReader in = new BufferedReader(new InputStreamReader(conn.getInputStream(), "UTF-8"));
String f = in.readLine();
in.close();
System.out.println(f);
} catch (Exception e) {
e.printStackTrace();
}
これを試して:
BufferedReader reader = new BufferedReader(new InputStreamReader(con.getResponseCode() / 100 == 2 ? con.getInputStream() : con.getErrorStream()));
エージェント文字列を追加した後でも同じエラーが発生しました。最後に、数日後の調査で問題が判明しました。 urlスキームが「HTTPS」で始まる場合、エラー403が発生します。これは小文字(「https」)である必要があります。そのため、接続を開く前に「url.toLowercase()」を呼び出してください。