web-dev-qa-db-ja.com

tensorflow 2を使用した勾配ペナルティ損失の実装

おはようございます、

このペーパーで説明されているように、1Dデータの改善されたWGANを実装しようとしています： https://arxiv.org/pdf/1704.00028.pdf

Keras-contrib githubの例として実装されています： https://github.com/keras-team/keras-contrib/blob/master/examples/improved_wgan.py それにもかかわらず、この実装勾配ペナルティ損失の損失は、tf2では機能しなくなりました。 K.gradients（）は[なし]を返します。

ValueError: in user code:

    /usr/local/lib/python3.6/dist-packages/tensorflow/python/keras/engine/training.py:505 train_function  *
        outputs = self.distribute_strategy.run(
    /usr/local/lib/python3.6/dist-packages/tensorflow/python/distribute/distribute_lib.py:951 run  **
        return self._extended.call_for_each_replica(fn, args=args, kwargs=kwargs)
    /usr/local/lib/python3.6/dist-packages/tensorflow/python/distribute/distribute_lib.py:2290 call_for_each_replica
        return self._call_for_each_replica(fn, args, kwargs)
    /usr/local/lib/python3.6/dist-packages/tensorflow/python/distribute/distribute_lib.py:2649 _call_for_each_replica
        return fn(*args, **kwargs)
    /usr/local/lib/python3.6/dist-packages/tensorflow/python/keras/engine/training.py:467 train_step  **
        y, y_pred, sample_weight, regularization_losses=self.losses)
    /usr/local/lib/python3.6/dist-packages/tensorflow/python/keras/engine/compile_utils.py:204 __call__
        loss_value = loss_obj(y_t, y_p, sample_weight=sw)
    /usr/local/lib/python3.6/dist-packages/tensorflow/python/keras/losses.py:143 __call__
        losses = self.call(y_true, y_pred)
    /usr/local/lib/python3.6/dist-packages/tensorflow/python/keras/losses.py:246 call
        return self.fn(y_true, y_pred, **self._fn_kwargs)
    <ipython-input-7-4f0896d0107b>:104 gradient_penalty_loss
        gradients_sqr = K.square(gradients)
    /usr/local/lib/python3.6/dist-packages/tensorflow/python/keras/backend.py:2189 square
        return math_ops.square(x)
    /usr/local/lib/python3.6/dist-packages/tensorflow/python/ops/gen_math_ops.py:9964 square
        "Square", x=x, name=name)
    /usr/local/lib/python3.6/dist-packages/tensorflow/python/framework/op_def_library.py:488 _apply_op_helper
        (input_name, err))

    ValueError: Tried to convert 'x' to a tensor and failed. Error: None values not supported.

これが問題の完全な例です： https://colab.research.google.com/drive/11dcMKoiCigTnEn7QvmjqLNrJdmFztByT

誰が何が変わったのか知っていますか？これを解決する方法について何か考えはありますか？

更新：これは、計算グラフの作成中のエラーを無視します。それからそれは走るようです

def gradient_penalty_loss(y_true, y_pred, averaged_samples):
  gradients = K.gradients(y_pred, averaged_samples)[0]
  try:
    gradients_sqr = K.square(gradients)
  except ValueError:
    print("Gradients returned None")
    return 0
  gradients_sqr_sum = K.sum(gradients_sqr, axis=np.arange(1, len(gradients_sqr.shape)))
  gradient_l2_norm = K.sqrt(gradients_sqr_sum)

  gradient_penalty = K.square(1 - gradient_l2_norm)

  return K.mean(gradient_penalty)

それにもかかわらず、ますます高い損失関数を取得し、gradient_penalty_lossは無視されますか？ Loss

pythontensorflowkerastensorflow2.0tensorflow2.x
1
Pablo Martín Redondo

UPDATEで提案されていることを行うと、tfは損失関数を無視します。

Tensorflow 2では、これまでの方法では不可能に思えます。最後に、このようにモデルを作成する方法に適応するようにコードを変更します。私が提案することは？

  1. ケラスで生成/ディスクモデルを作成する
  2. 以下のWGANのようなtf.keras.Modelクラスを拡張して、それらを結合します。 https://github.com/timsainb/tensorflow2-generative-models
0
Pablo Martín Redondo