web-dev-qa-db-ja.com

TensorFlowを使用してペアワイズ距離を計算する

私はこの記事を非難しようとしています： http://ronan.collobert.com/pub/matos/2008_deep_icml.pdf セクション2からの式（3）.

まもなく、各ミニバッチの特徴に対してペアワイズ距離計算を行い、この損失を一般的なネットワーク損失に挿入したいと思います。バッチのTesnor（16サンプル）、バッチのラベル​​テンソル、およびバッチフィーチャTensorのみがあります。

かなり長い間探した後、私はまだ以下を理解できませんでした：

1）ポジティブ（つまり同じラベル）ペアとネガティブペアのバッチを分割するにはどうすればよいですか。テンソルは反復可能ではないため、どのサンプルがどのラベルを持っているかを取得してからベクトルを除算する方法、またはテンソルのどのインデックスが各クラスに属するかを取得する方法はわかりません。

2）バッチテンソルのインデックスのいくつかに対してペアワイズ距離計算を行うにはどうすればよいですか？

3）また、否定的な例のために新しい距離関数を定義する必要があります

全体として、どのインデックスがどのクラスに属するかを取得し、すべての正のペアに対して正のペアワイズ距離計算を行う必要があります。そして、すべての負のペアに対して別の計算を行います。次に、すべてをまとめて、ネットワーク損失に追加します。

（3つの問題のうちの1つに対する）どんな助けも大歓迎です。

pythontensorflowdistance
14
mangate

1）ペアサンプリングを行う必要がありますbeforeデータをセッションにフィードします。すべてのペアにブールラベルを付けます。たとえば、一致ペアの場合はy = 1、それ以外の場合は0です。

2）3）ペアごとに両方のpos/neg項を計算し、0-1ラベルyで損失に追加するものを選択します。

最初にプレースホルダーを作成します。y_はブールラベル用です。

dim = 64
x1_ = tf.placeholder('float32', shape=(None, dim))
x2_ = tf.placeholder('float32', shape=(None, dim))
y_ = tf.placeholder('uint8', shape=[None])   # uint8 for boolean

次に、関数によって損失テンソルを作成できます。

def loss(x1, x2, y):
    # Euclidean distance between x1,x2
    l2diff = tf.sqrt( tf.reduce_sum(tf.square(tf.sub(x1, x2)),
                                    reduction_indices=1))

    # you can try margin parameters
    margin = tf.constant(1.)     

    labels = tf.to_float(y)

    match_loss = tf.square(l2diff, 'match_term')
    mismatch_loss = tf.maximum(0., tf.sub(margin, tf.square(l2diff)), 'mismatch_term')

    # if label is 1, only match_loss will count, otherwise mismatch_loss
    loss = tf.add(tf.mul(labels, match_loss), \
                  tf.mul((1 - labels), mismatch_loss), 'loss_add')

    loss_mean = tf.reduce_mean(loss)
    return loss_mean

loss_ = loss(x1_, x2_, y_)

次に、データをフィードします（ランダムに生成されます）：

batchsize = 4
x1 = np.random.Rand(batchsize, dim)
x2 = np.random.Rand(batchsize, dim)
y = np.array([0,1,1,0])

l = sess.run(loss_, feed_dict={x1_:x1, x2_:x2, y_:y})
14
weitang114

短い答え

これを行う最も簡単な方法は、オフラインでペアをサンプリングすることだと思います（つまり、TensorFlowグラフの外部）。
ラベル（正または負、つまり同じクラスまたは異なるクラス）とともにペアのバッチに対して_tf.placeholder_を作成し、TensorFlowで対応する損失を計算できます。

コードで

  1. ペアをオフラインでサンプリングします。入力の_batch_size_ペアをサンプリングし、形状のペア_batch_size_の_[batch_size, input_size]_左要素を出力します。また、形状_[batch_size,]_のペアのラベル（正または負）を出力します
_pairs_left = np.zeros((batch_size, input_size))
pairs_right = np.zeros((batch_size, input_size))
labels = np.zeros((batch_size, 1))  # ex: [[0.], [1.], [1.], [0.]] for batch_size=4
_
  1. 次に、これらの入力に対応するTensorflowプレースホルダーを作成します。コードでは、sess.run()の_feed_dict_引数でこれらのプレースホルダーに以前の入力をフィードします
_pairs_left_node = tf.placeholder(tf.float32, [batch_size, input_size])
pairs_right_node = tf.placeholder(tf.float32, [batch_size, input_size])
labels_node = tf.placeholder(tf.float32, [batch_size, 1])
_
  1. これで、入力に対してフィードフォワードを実行できます（モデルが線形モデルだとしましょう）。
_W = ...   # shape [input_size, feature_size]
output_left = tf.matmul(pairs_left_node, W)  # shape [batch_size, feature_size]
output_right = tf.matmul(pairs_right_node, W)  # shape [batch_size, feature_size]
_
  1. 最後に、ペアワイズ損失を計算できます。 Loss
_l2_loss_pairs = tf.reduce_sum(tf.square(output_left - output_right), 1)
positive_loss = l2_loss_pairs
negative_loss = tf.nn.relu(margin - l2_loss_pairs)
final_loss = tf.mul(labels_node, positive_loss) + tf.mul(1. - labels_node, negative_loss)
_

以上です ！優れたオフラインサンプリングにより、この損失を最適化できるようになりました。

7
Olivier Moindrot