Tensorflow 2.0を使用するコードを含むkubeflowパイプラインの実行中。各エポックの終わりに以下のエラーが表示されます
W tensorflow/core/kernels/data/generator_dataset_op.cc:103] GeneratorDatasetイテレータのファイナライズ中にエラーが発生しました:キャンセル済み:操作がキャンセルされました
また、いくつかのエポックの後、ログは表示されず、このエラーが表示されます
このステップは次のメッセージで失敗状態にあります:ノードのリソースが不足していました:メモリ。コンテナーのメインは100213872Kiを使用していましたが、その要求は0を超えています。コンテナーの待機は25056Kiを使用しており、その要求は0を超えています。
tensorflow
を2.1
から2.2
にアップグレードすると、この問題が解決しました。 tf-nightly
バージョンに行く必要はありませんでした。
私の場合:私はtf-nightlyをインストールしました。今は機能していますが、テンソルフローは初めてです。私はこれに従いました link
あなたが試すことができます。
私は同じ問題を抱えています。人々は、温暖化は不必要で、tf-nightlyで取り除かれていると主張しました。 ここ を参照してください。ただし、メモリリークは各エポックでまだ残っています。