私はGradleを使用するために大規模なプロジェクトをコンパイルしてテストしようとしています。予期せず死ぬまで、テストは正常に実行されます。私は周りを掘り下げ、リソースはこれがメモリの問題によるものだと言った。スイート内のテストの数を減らすと、問題なく実行されます。
メモリを4倍に増やしてデバッグレベルを上げましたが、これが原因で発生することはまだありません。これは恐ろしく不可解なスタックトレースです。最後の行(右にスクロール)には、定義したメモリ設定が表示されます。
...
...
...
1125 tests completed, 30 failed, 9 skipped
:test FAILED
:test (Thread[Daemon worker,5,main]) completed. Took 8 mins 39.684 secs.
FAILURE: Build failed with an exception.
* What went wrong:
Execution failed for task ':test'.
> Process 'Gradle Test Executor 1' finished with non-zero exit value 137
* Try:
Run with --debug option to get more log output.
* Exception is:
org.gradle.api.tasks.TaskExecutionException: Execution failed for task ':test'.
at org.gradle.api.internal.tasks.execution.ExecuteActionsTaskExecuter.executeActions(ExecuteActionsTaskExecuter.Java:69)
at org.gradle.api.internal.tasks.execution.ExecuteActionsTaskExecuter.execute(ExecuteActionsTaskExecuter.Java:46)
at org.gradle.api.internal.tasks.execution.PostExecutionAnalysisTaskExecuter.execute(PostExecutionAnalysisTaskExecuter.Java:35)
at org.gradle.api.internal.tasks.execution.SkipUpToDateTaskExecuter.execute(SkipUpToDateTaskExecuter.Java:64)
at org.gradle.api.internal.tasks.execution.ValidatingTaskExecuter.execute(ValidatingTaskExecuter.Java:58)
at org.gradle.api.internal.tasks.execution.SkipEmptySourceFilesTaskExecuter.execute(SkipEmptySourceFilesTaskExecuter.Java:52)
at org.gradle.api.internal.tasks.execution.SkipTaskWithNoActionsExecuter.execute(SkipTaskWithNoActionsExecuter.Java:52)
at org.gradle.api.internal.tasks.execution.SkipOnlyIfTaskExecuter.execute(SkipOnlyIfTaskExecuter.Java:53)
at org.gradle.api.internal.tasks.execution.ExecuteAtMostOnceTaskExecuter.execute(ExecuteAtMostOnceTaskExecuter.Java:43)
at org.gradle.execution.taskgraph.DefaultTaskGraphExecuter$EventFiringTaskWorker.execute(DefaultTaskGraphExecuter.Java:203)
at org.gradle.execution.taskgraph.DefaultTaskGraphExecuter$EventFiringTaskWorker.execute(DefaultTaskGraphExecuter.Java:185)
at org.gradle.execution.taskgraph.AbstractTaskPlanExecutor$TaskExecutorWorker.processTask(AbstractTaskPlanExecutor.Java:66)
at org.gradle.execution.taskgraph.AbstractTaskPlanExecutor$TaskExecutorWorker.run(AbstractTaskPlanExecutor.Java:50)
at org.gradle.execution.taskgraph.DefaultTaskPlanExecutor.process(DefaultTaskPlanExecutor.Java:25)
at org.gradle.execution.taskgraph.DefaultTaskGraphExecuter.execute(DefaultTaskGraphExecuter.Java:110)
at org.gradle.execution.SelectedTaskExecutionAction.execute(SelectedTaskExecutionAction.Java:37)
at org.gradle.execution.DefaultBuildExecuter.execute(DefaultBuildExecuter.Java:37)
at org.gradle.execution.DefaultBuildExecuter.access$000(DefaultBuildExecuter.Java:23)
at org.gradle.execution.DefaultBuildExecuter$1.proceed(DefaultBuildExecuter.Java:43)
at org.gradle.execution.DryRunBuildExecutionAction.execute(DryRunBuildExecutionAction.Java:32)
at org.gradle.execution.DefaultBuildExecuter.execute(DefaultBuildExecuter.Java:37)
at org.gradle.execution.DefaultBuildExecuter.execute(DefaultBuildExecuter.Java:30)
at org.gradle.initialization.DefaultGradleLauncher$4.run(DefaultGradleLauncher.Java:154)
at org.gradle.internal.Factories$1.create(Factories.Java:22)
at org.gradle.internal.progress.DefaultBuildOperationExecutor.run(DefaultBuildOperationExecutor.Java:90)
at org.gradle.internal.progress.DefaultBuildOperationExecutor.run(DefaultBuildOperationExecutor.Java:52)
at org.gradle.initialization.DefaultGradleLauncher.doBuildStages(DefaultGradleLauncher.Java:151)
at org.gradle.initialization.DefaultGradleLauncher.access$200(DefaultGradleLauncher.Java:32)
at org.gradle.initialization.DefaultGradleLauncher$1.create(DefaultGradleLauncher.Java:99)
at org.gradle.initialization.DefaultGradleLauncher$1.create(DefaultGradleLauncher.Java:93)
at org.gradle.internal.progress.DefaultBuildOperationExecutor.run(DefaultBuildOperationExecutor.Java:90)
at org.gradle.internal.progress.DefaultBuildOperationExecutor.run(DefaultBuildOperationExecutor.Java:62)
at org.gradle.initialization.DefaultGradleLauncher.doBuild(DefaultGradleLauncher.Java:93)
at org.gradle.initialization.DefaultGradleLauncher.run(DefaultGradleLauncher.Java:82)
at org.gradle.launcher.exec.InProcessBuildActionExecuter$DefaultBuildController.run(InProcessBuildActionExecuter.Java:94)
at org.gradle.tooling.internal.provider.ExecuteBuildActionRunner.run(ExecuteBuildActionRunner.Java:28)
at org.gradle.launcher.exec.ChainingBuildActionRunner.run(ChainingBuildActionRunner.Java:35)
at org.gradle.launcher.exec.InProcessBuildActionExecuter.execute(InProcessBuildActionExecuter.Java:43)
at org.gradle.launcher.exec.InProcessBuildActionExecuter.execute(InProcessBuildActionExecuter.Java:28)
at org.gradle.launcher.exec.ContinuousBuildActionExecuter.execute(ContinuousBuildActionExecuter.Java:78)
at org.gradle.launcher.exec.ContinuousBuildActionExecuter.execute(ContinuousBuildActionExecuter.Java:48)
at org.gradle.launcher.daemon.server.exec.ExecuteBuild.doBuild(ExecuteBuild.Java:52)
at org.gradle.launcher.daemon.server.exec.BuildCommandOnly.execute(BuildCommandOnly.Java:36)
at org.gradle.launcher.daemon.server.api.DaemonCommandExecution.proceed(DaemonCommandExecution.Java:120)
at org.gradle.launcher.daemon.server.exec.WatchForDisconnection.execute(WatchForDisconnection.Java:37)
at org.gradle.launcher.daemon.server.api.DaemonCommandExecution.proceed(DaemonCommandExecution.Java:120)
at org.gradle.launcher.daemon.server.exec.ResetDeprecationLogger.execute(ResetDeprecationLogger.Java:26)
at org.gradle.launcher.daemon.server.api.DaemonCommandExecution.proceed(DaemonCommandExecution.Java:120)
at org.gradle.launcher.daemon.server.exec.RequestStopIfSingleUsedDaemon.execute(RequestStopIfSingleUsedDaemon.Java:34)
at org.gradle.launcher.daemon.server.api.DaemonCommandExecution.proceed(DaemonCommandExecution.Java:120)
at org.gradle.launcher.daemon.server.exec.ForwardClientInput$2.call(ForwardClientInput.Java:74)
at org.gradle.launcher.daemon.server.exec.ForwardClientInput$2.call(ForwardClientInput.Java:72)
at org.gradle.util.Swapper.swap(Swapper.Java:38)
at org.gradle.launcher.daemon.server.exec.ForwardClientInput.execute(ForwardClientInput.Java:72)
at org.gradle.launcher.daemon.server.api.DaemonCommandExecution.proceed(DaemonCommandExecution.Java:120)
at org.gradle.launcher.daemon.server.health.DaemonHealthTracker.execute(DaemonHealthTracker.Java:40)
at org.gradle.launcher.daemon.server.api.DaemonCommandExecution.proceed(DaemonCommandExecution.Java:120)
at org.gradle.launcher.daemon.server.exec.LogToClient.doBuild(LogToClient.Java:66)
at org.gradle.launcher.daemon.server.exec.BuildCommandOnly.execute(BuildCommandOnly.Java:36)
at org.gradle.launcher.daemon.server.api.DaemonCommandExecution.proceed(DaemonCommandExecution.Java:120)
at org.gradle.launcher.daemon.server.exec.EstablishBuildEnvironment.doBuild(EstablishBuildEnvironment.Java:72)
at org.gradle.launcher.daemon.server.exec.BuildCommandOnly.execute(BuildCommandOnly.Java:36)
at org.gradle.launcher.daemon.server.api.DaemonCommandExecution.proceed(DaemonCommandExecution.Java:120)
at org.gradle.launcher.daemon.server.health.HintGCAfterBuild.execute(HintGCAfterBuild.Java:41)
at org.gradle.launcher.daemon.server.api.DaemonCommandExecution.proceed(DaemonCommandExecution.Java:120)
at org.gradle.launcher.daemon.server.exec.StartBuildOrRespondWithBusy$1.run(StartBuildOrRespondWithBusy.Java:50)
BUILD FAILED at org.gradle.launcher.daemon.server.DaemonStateCoordinator$1.run(DaemonStateCoordinator.Java:246)
at org.gradle.internal.concurrent.ExecutorPolicy$CatchAndRecordFailures.onExecute(ExecutorPolicy.Java:54)
at org.gradle.internal.concurrent.StoppableExecutorImpl$1.run(StoppableExecutorImpl.Java:40)
Caused by: org.gradle.process.internal.ExecException: Process 'Gradle Test Executor 1' finished with non-zero exit value 137
Total time: 9 mins 38.624 secs
at org.gradle.process.internal.DefaultExecHandle$ExecResultImpl.assertNormalExitValue(DefaultExecHandle.Java:367)
at org.gradle.process.internal.DefaultWorkerProcess.waitForStop(DefaultWorkerProcess.Java:161)
at org.gradle.api.internal.tasks.testing.worker.ForkingTestClassProcessor.stop(ForkingTestClassProcessor.Java:86)
at org.gradle.api.internal.tasks.testing.processors.RestartEveryNTestClassProcessor.endBatch(RestartEveryNTestClassProcessor.Java:60)
at org.gradle.api.internal.tasks.testing.processors.RestartEveryNTestClassProcessor.stop(RestartEveryNTestClassProcessor.Java:54)
at org.gradle.messaging.dispatch.ReflectionDispatch.dispatch(ReflectionDispatch.Java:35)
at org.gradle.messaging.dispatch.ReflectionDispatch.dispatch(ReflectionDispatch.Java:24)
at org.gradle.messaging.dispatch.FailureHandlingDispatch.dispatch(FailureHandlingDispatch.Java:29)
at org.gradle.messaging.dispatch.AsyncDispatch.dispatchMessages(AsyncDispatch.Java:132)
at org.gradle.messaging.dispatch.AsyncDispatch.access$000(AsyncDispatch.Java:33)
at org.gradle.messaging.dispatch.AsyncDispatch$1.run(AsyncDispatch.Java:72)
... 2 more
Stopped 0 compiler daemon(s).
Received result Failure[value=org.gradle.initialization.ReportedException: org.gradle.internal.exceptions.LocationAwareException: Execution failed for task ':test'.] from daemon DaemonInfo{pid=48, address=[65adcc0f-8881-4511-b7a0-1b88c7016510 port:34390, addresses:[/0:0:0:0:0:0:0:1%lo, /127.0.0.1]], idle=false, context=DefaultDaemonContext[uid=14546872-57d6-4da6-8358-dc41cb7bb01d,javaHome=/usr/lib/jvm/Java-8-Oracle,daemonRegistryDir=/srv/myapplication/.gradle/daemon,pid=48,idleTimeout=120000,daemonOpts=-XX:MaxMetaspaceSize=320m,-XX:+DisableExplicitGC,-XX:+UseConcMarkSweepGC,-XX:NewSize=124m,-XX:SurvivorRatio=16,-Xms257m,-Xmx2049m,-Dfile.encoding=UTF-8,-Duser.country=US,-Duser.language=en,-Duser.variant]} (build should be done).
Jenkinsのドキュメントに記載されているように、この問題はGradleではなくLinuxに関連しているようです。
仮想メモリが不足している場合、カーネルOOM(メモリ不足)キラーがJenkinsまたは個々のビルドを強制的に強制終了する場合があります。 Linuxでこれが発生した場合、ビルドが終了コード137(128 + SIGKILLのシグナル番号)で終了することがあります。
dmesg
コマンドの出力には、カーネルが実行したアクションを確認するログメッセージが表示されます。
https://wiki.jenkins-ci.org/display/JENKINS/I'm+getting+OutOfMemoryError
DigitalOceanのサーバーで同様の問題が発生しました。私のgradleビルドはtest
ステージで非常によく似たスタックトレースで、単一のテストが実行されずに完全に失敗しました。
Gradleのドキュメントには、gradleデーモン CI環境では実行しないでください と記載されています。ビルドコマンドに--no-daemon
を追加したところ、すべてがうまく機能しました。また、./gradlew --stop
を使用してデーモンを停止することも有用でしたが、単一のビルドでのみ機能しました。次のビルドも失敗しました。
私のビルドコマンド:
./gradlew build --no-daemon
同じ問題がありましたが、ビルドがdockerコンテナーで起動されるCI環境で発生しました。その特定のケースでは、JVMは使用可能なメモリ量を認識していないため、この種の問題が発生する可能性があります。
JVMに使用可能なメモリ量を知らせるために、次を使用できます。
gradle build -Dorg.gradle.jvmargs=-XX:+UnlockExperimentalVMOptions -XX:+UseCGroupMemoryLimitForHeap
また、テストタスクに設定します。
test {
jvmArgs "-XX:+UnlockExperimentalVMOptions", "-XX:+UseCGroupMemoryLimitForHeap"
}
これは、8u131 +で導入された新しいJVM機能です
参照: http://royvanrijn.com/blog/2018/05/Java-and-docker-memory-limits/
CircleCIでも同じ問題を抱えていますが、上記のいずれにも運がありませんでした。これは私が見つけたものです:
-Dorg.gradle.daemon=false
にconfig.yml
を追加すると、デーモンの使用が停止しましたが、問題は修正されませんでした。-Dorg.gradle.workers.max=2
をGRADLE_OPTS
に追加した場合、または--max-workers 2
をgradleコマンドに追加しても、表示される内容からあまり効果が得られないようです。念のため--max-workers=2
を試してみました。両方の形式がGoogleに浮かんでいるようだからです。 CircleCIコンテナーに接続しましたが、top
には3-4 Javaプロセスが分岐しているので、これが何をしているのかわかりませんか?-XX:+UnlockExperimentalVMOptions
構成で-XX:+UseCGroupMemoryLimitForHeap
とtest {}
を試しました。これがどのように機能するかわかりません。複数のフォークされたプロセスは、他のプロセスが使用しているコンテナメモリの割合を知らないと思っていただろうか?正しく理解していない限り。結局、私は魔法を使うのではなく、メモリ設定をナイスで明示的にするだけで修正しました:
GRADLE_OPTS: -Xmx2048m -Dorg.gradle.daemon=false
test { maxHeapSize = "512m" }
編集:他のプロセスを実行しているかどうかによっては、低くする必要がある場合があります。
Gradle 4.6を実行しているBambooエージェント(Dockerで実行)で同様の問題が発生しました。 test
タスクが突然終了しました
build 27-Dec-2018 22:00:20 22:00:20.018 [DEBUG] [org.gradle.process.internal.DefaultExecHandle] Process 'Gradle Test Executor 1' finished with exit value 137 (state: FAILED)
3000以上のユニットテストがあります。私たちの場合、問題はforkEvery
を使用して解決され、テスト実行プロセスごとに実行されるテストクラスの数を制限し、メモリ使用量も制限します。
test {
maxHeapSize '512m'
forkEvery 100
jvmArgs '-Xmx512m', '-Xms512m'
}
Baptiste Mestaの答えに似ていますが、JDK 11の場合、UseContainerSupport JVMオプションを使用してJenkinsビルドを解決しました。
./gradlew test --no-daemon -Dorg.gradle.jvmargs=-XX:+UseContainerSupport
Robolectric Testを実行しようとしているCircleCiでこれに問題がある場合
Androidのドキュメントページで問題の解決策を見つけました
https://circleci.com/docs/2.0/language-Android/
単に追加することでした
Android {
testOptions {
unitTests {
returnDefaultValues = true
includeAndroidResources = true
all {
maxHeapSize = "1024m"
}
}
}
まだOOM問題が発生している場合は、gradleの最大ワーカー数を制限することもできます。/gradlew test --max-workers 4
これは実際にはメモリの問題です。一般的に、Dockerコンテナには4Gのメモリ制限があるため、Javaヒープがその制限を超えないように注意する必要があります。 Androidを参照しています
これをgradle.propertiesに追加します(必要に応じてサイズを変更します)
org.gradle.jvmargs=-Xmx10248m -XX:MaxPermSize=256m
これをbuild.gradleに追加します
Android.testOptions.unitTests.all { maxHeapSize = "1024m" }
または
Android {
testOptions {
unitTests {
// Any other configurations
all {
maxHeapSize = "1024m"
}
}
}
まだOOMの問題が発生している場合は、gradleの最大ワーカー数を制限することもできます。./gradlew test --max-workers 4
お役に立てれば。