web-dev-qa-db-ja.com

Jerseyクライアントを使用して大きなファイルをアップロードするときにOutOfMemoryErrorを回避する方法

HttpベースのリクエストにJerseyクライアントを使用しています。ファイルが小さい場合はうまく機能しますが、サイズが700Mのファイルを投稿するとエラーが発生します。

Exception in thread "main" Java.lang.OutOfMemoryError: Java heap space
    at Java.util.Arrays.copyOf(Arrays.Java:2786)
    at Java.io.ByteArrayOutputStream.write(ByteArrayOutputStream.Java:94)
    at Sun.net.www.http.PosterOutputStream.write(PosterOutputStream.Java:61)
    at com.Sun.jersey.api.client.CommittingOutputStream.write(CommittingOutputStream.Java:90)
    at com.Sun.jersey.core.util.ReaderWriter.writeTo(ReaderWriter.Java:115)
    at com.Sun.jersey.core.provider.AbstractMessageReaderWriterProvider.writeTo(AbstractMessageReaderWriterProvider.Java:76)
    at com.Sun.jersey.core.impl.provider.entity.FileProvider.writeTo(FileProvider.Java:103)
    at com.Sun.jersey.core.impl.provider.entity.FileProvider.writeTo(FileProvider.Java:64)
    at com.Sun.jersey.multipart.impl.MultiPartWriter.writeTo(MultiPartWriter.Java:224)
    at com.Sun.jersey.multipart.impl.MultiPartWriter.writeTo(MultiPartWriter.Java:71)
    at com.Sun.jersey.api.client.RequestWriter.writeRequestEntity(RequestWriter.Java:300)
    at com.Sun.jersey.client.urlconnection.URLConnectionClientHandler._invoke(URLConnectionClientHandler.Java:204)
    at com.Sun.jersey.client.urlconnection.URLConnectionClientHandler.handle(URLConnectionClientHandler.Java:147)
    at com.Sun.jersey.api.client.Client.handle(Client.Java:648)
    at com.Sun.jersey.api.client.WebResource.handle(WebResource.Java:680)
    at com.Sun.jersey.api.client.WebResource.access$200(WebResource.Java:74)
    at com.Sun.jersey.api.client.WebResource$Builder.post(WebResource.Java:568)
    at TestHttpRequest.main(TestHttpRequest.Java:42)

これが私のコードです：

ClientConfig cc = new DefaultClientConfig();
        Client client = Client.create(cc);
        WebResource resource = client.resource("http://localhost:8080/JerseyWithServletTest/helloworld");
        FormDataMultiPart form = new FormDataMultiPart();
        File file = new File("E:/CN_WXPPSP3_v312.ISO");
        form.field("username", "ljy");
        form.field("password", "password");
        form.field("filename", file.getName());
        form.bodyPart(new FileDataBodyPart("file", file, MediaType.MULTIPART_FORM_DATA_TYPE));
        ClientResponse response = resource.type(MediaType.MULTIPART_FORM_DATA).post(ClientResponse.class, form);
file-uploadjerseylarge-files
17
Mr rain

ストリームを使用できます。クライアントで次のようなことを試してください。

InputStream fileInStream = new FileInputStream(fileName);
String sContentDisposition = "attachment; filename=\"" + fileName.getName()+"\"";
WebResource fileResource = a_client.resource(a_sUrl);       
ClientResponse response = fileResource.type(MediaType.APPLICATION_OCTET_STREAM)
                        .header("Content-Disposition", sContentDisposition)
                        .post(ClientResponse.class, fileInStream);

サーバー上のこのようなリソースで：

@PUT
@Consumes("application/octet-stream")
public Response putFile(@Context HttpServletRequest a_request,
                         @PathParam("fileId") long a_fileId,
                         InputStream a_fileInputStream) throws Throwable
{
    // Do something with a_fileInputStream
    // etc
32
Martin Wilson

コードがアップロードされたファイルのサイズに依存しないようにするには、次のものが必要です。

  1. ストリームを使用する
  2. ジャージークライアントのチャックサイズを定義します。例：client.setChunkedEncodingSize(1024);

サーバー：

    @POST
    @Path("/upload/{attachmentName}")
    @Consumes(MediaType.APPLICATION_OCTET_STREAM)
    public void uploadAttachment(@PathParam("attachmentName") String attachmentName, InputStream attachmentInputStream) {
        // do something with the input stream
    }

クライアント：

    ...
    client.setChunkedEncodingSize(1024);
    WebResource rootResource = client.resource("your-server-base-url");
    File file = new File("your-file-path");
    InputStream fileInStream = new FileInputStream(file);
    String contentDisposition = "attachment; filename=\"" + file.getName() + "\"";
    ClientResponse response = rootResource.path("attachment").path("upload").path("your-file-name")
            .type(MediaType.APPLICATION_OCTET_STREAM).header("Content-Disposition", contentDisposition)
            .post(ClientResponse.class, fileInStream);
7
sikrip

以下は、Jersey 2.11を使用して、チャンク転送エンコーディング（ストリームなど）を含む（潜在的に大きな）ファイルをアップロードするためのコードです。

Maven：

<properties>
    <jersey.version>2.11</jersey.version>
</properties>

<dependencies>
    <dependency>
        <groupId>org.glassfish.jersey.core</groupId>
        <artifactId>jersey-client</artifactId>
        <version>${jersey.version}</version>
    </dependency>
    <dependency>
    <groupId>org.glassfish.jersey.media</groupId>
        <artifactId>jersey-media-multipart</artifactId>
        <version>${jersey.version}</version>
    </dependency>
<dependencies>

Java：

Client client = ClientBuilder.newClient(clientConfig);
client.property(ClientProperties.REQUEST_ENTITY_PROCESSING, "CHUNKED");

WebTarget target = client.target(SERVICE_URI); 
InputStream fileInStream = new FileInputStream(inFile);
String contentDisposition = "attachment; filename=\"" + inFile.getName() + "\"";
System.out.println("sending: " + inFile.length() + " bytes...");
Response response = target
            .request(MediaType.APPLICATION_OCTET_STREAM_TYPE)
            .header("Content-Disposition", contentDisposition)
            .header("Content-Length", (int) inFile.length())
            .put(Entity.entity(fileInStream, MediaType.APPLICATION_OCTET_STREAM_TYPE));
System.out.println("Response status: " + response.getStatus());
5
rschmidt13

私の場合（ジャージー2.23.2） rschmidt13のソリューション は次の警告を出しました：

WARNING: Attempt to send restricted header(s) while the [Sun.net.http.allowRestrictedHeaders] system property not set. Header(s) will possibly be ignored.

これは、次の行を追加することで解決できます。

System.setProperty("Sun.net.http.allowRestrictedHeaders", "true");

ただし、StreamingOutputインターフェイスを使用すると、よりクリーンなソリューションを取得できると思います。私はそれが役立つことを願って完全な例を投稿します。

クライアント（ファイルのアップロード）

WebTarget target = ClientBuilder.newBuilder().build()
            .property(ClientProperties.CHUNKED_ENCODING_SIZE, 1024)
            .property(ClientProperties.REQUEST_ENTITY_PROCESSING, "CHUNKED")
            .target("<your-url>");

StreamingOutput out = new StreamingOutput() {

    @Override
    public void write(OutputStream output) throws IOException, 
            WebApplicationException {

        try (FileInputStream is = new FileInputStream(file)) {

            int available;
            while ((available = is.available()) > 0) {
                // or use a buffer
                output.write(is.read());
            }
        }
    }
};

Response response = target.request().post(Entity.text(out));

サーバ

@Path("resourcename")
public class MyResource {

    @Context
    HttpServletRequest request;

    @POST
    @Path("thepath")
    public Response upload() throws IOException, ServletException {

        try (InputStream is = request.getInputStream()) {
            // ...
        }
    }
}
1
xonya

可能であれば、送信するファイルを小さな部分に分割できますか？これによりメモリ使用量が削減されますが、アップロード/ダウンロードコードの両側でコードを変更する必要があります。

できない場合は、ヒープ領域が低すぎます。このJVMパラメータを使用してヒープ領域を増やしてみてください。アプリケーションサーバーで、Xmx JVMオプションを追加/変更します。例えば

-Xmx1024m

最大ヒープスペースを1Gbに設定する

0
JScoobyCed
@Consumes("multipart/form-data")
@Produces(MediaType.TEXT_PLAIN + ";charset=utf-8")
public String upload(MultipartFormDataInput input,  @QueryParam("videoId") String  videoId,
        @Context HttpServletRequest a_request) {

    String fileName = "";
    for (InputPart inputPart : input.getParts()) {
        try {

            MultivaluedMap<String, String> header = inputPart.getHeaders();
            fileName = getFileName(header);
            // convert the uploaded file to inputstream
            InputStream inputStream = inputPart.getBody(InputStream.class, null);               
            // write the inputStream to a FileOutputStream
            OutputStream outputStream = new FileOutputStream(new File("/home/mh/Téléchargements/videoUpload.avi"));
            int read = 0;
            byte[] bytes = new byte[1024];
            while ((read = inputStream.read(bytes)) != -1) {
                outputStream.write(bytes, 0, read);
            }
            System.out.println("Done!");
        } catch (IOException e) {
            e.printStackTrace();
            return "ko";
        }

    }
0
EL missaoui habib