web-dev-qa-db-ja.com

EMR Spark-TransportClient：RPCの送信に失敗しました

このエラーが発生しました。クラスターインスタンスのメモリを増やし、エグゼキューターとドライバーのパラメーターを増やしましたが、成功しませんでした。

17/05/07 23:17:07 ERROR TransportClient: Failed to send RPC 6465703946954088562 to ip-172-30-12-164.eu-central-1.compute.internal/172.30.12.164:34706: Java.nio.channels.ClosedChannelException

誰かがこのエラーを修正するための手がかりを持っていますか？

ところで、私はYARNをクラスターマネージャーとして使用しています

前もって感謝します

apache-sparkyarnemr
14
Luis Sobrecueva

最後に問題を解決しました。ディスク容量不足が原因です。 hadoopログの1つの列は、次のことを示しています。

Hadoop YARN：1/1 local-dirsは不正です：/ var/lib/hadoop-yarn/cache/yarn/nm-local-dir; 1/1 log-dirsは不正です：/ var/log/hadoop-yarn/containers

私が見つけたグーグル-- http://gethue.com/hadoop-yarn-11-local-dirs-are-bad-varlibhadoop-yarncacheyarnnm-local-dir-11-log-dirs-are-bad-varloghadoop-ヤーンコンテナ/

「このエラーが発生した場合は、ディスク容量を増やしてください！」

このエラーを表示するには、EMRで糸ログをアクティブにする必要があります。見る

http://docs.aws.Amazon.com/emr/latest/ManagementGuide/emr-web-interfaces.html

クラスターec2インスタンスのログポートにアクセスできるように、セキュリティポートを変更しました

例：

マスターインスタンスはここでリスニングしていた：172.30.12.84:8088そしてコアインスタンスはここで：172.30.12.21:8042

最後に、etl.pyでインスタンスのタイプを、より大きなディスクを持つ他のインスタンスによって変更する問題を修正しました。

マスター：m3.2xlarge
コア：c3.4xlarge

5
Luis Sobrecueva