web-dev-qa-db-ja.com

seq2seq API（ver 1.1以降）を使用したTensorflowシーケンスからシーケンスモデルへ

TensorFlow v：1.1を使用しており、tf.contrib.seq2seq apiを使用してシーケンスからシーケンスモデルを実装したいと思います。ただし、モデルを構築するために提供されているすべての関数（BasicDecoder、Dynamic_decode、Helper、Training Helper ...）の使用方法を理解するのに苦労しています。

これが私の設定です：特徴ベクトルのシーケンスを「変換」したいと思います：（batch_size、encoder_max_seq_len、feature_dim）異なる長さのシーケンスに（batch_size 、decoder_max_len、1）。

LSTMセルを備えたRNNであるencoderがすでにあり、初期入力としてデコーダーにフィードしたいfinal stateを取得します。デコーダー用のセルMultiRNNCellLSMはすでにあります。 tf.contrib.seq2seq2およびdynamic_decode（サンプルコードまたは）の関数を使用して最後の部分を構築するのを手伝っていただけませんか説明は大歓迎です）？

これが私のコードです：

import tensorflow as tf
from tensorflow.contrib import seq2seq
from tensorflow.contrib import rnn
import math

from data import gen_sum_2b2

class Seq2SeqModel:
def __init__(self,
             in_size,
             out_size,
             embed_size,
             n_symbols,
             cell_type,
             n_units,
             n_layers):
    self.in_size = in_size
    self.out_size = out_size
    self.embed_size = embed_size
    self.n_symbols = n_symbols
    self.cell_type = cell_type
    self.n_units = n_units
    self.n_layers = n_layers

    self.build_graph()

def build_graph(self):
    self.init_placeholders()
    self.init_cells()
    self.encoder()
    self.decoder_train()
    self.loss()
    self.training()

def init_placeholders(self):
    with tf.name_scope('Placeholders'):
        self.encoder_inputs = tf.placeholder(shape=(None, None, self.in_size), 
                                             dtype=tf.float32, name='encoder_inputs')
        self.decoder_targets = tf.placeholder(shape=(None, None),
                                              dtype=tf.int32, name='decoder_targets')
        self.seqs_len = tf.placeholder(dtype=tf.int32)
        self.batch_size = tf.placeholder(tf.int32, name='dynamic_batch_size')
        self.max_len = tf.placeholder(tf.int32, name='dynamic_seq_len')
        decoder_inputs = tf.reshape(self.decoder_targets, shape=(self.batch_size,
                                    self.max_len, self.out_size))
        self.decoder_inputs = tf.cast(decoder_inputs, tf.float32)
        self.eos_step = tf.ones([self.batch_size, 1], dtype=tf.float32, name='EOS')
        self.pad_step = tf.zeros([self.batch_size, 1], dtype=tf.float32, name='PAD')

def RNNCell(self):
    c = self.cell_type(self.n_units, reuse=None)
    c = rnn.MultiRNNCell([self.cell_type(self.n_units) for i in range(self.n_layers)])
    return c

def init_cells(self):
    with tf.variable_scope('RNN_enc_cell'):
        self.encoder_cell = self.RNNCell()  
    with tf.variable_scope('RNN_dec_cell'):
        self.decoder_cell = rnn.OutputProjectionWrapper(self.RNNCell(), self.n_symbols)

def encoder(self):
    with tf.variable_scope('Encoder'):
        self.init_state = self.encoder_cell.zero_state(self.batch_size, tf.float32) 
        _, self.encoder_final_state = tf.nn.dynamic_rnn(self.encoder_cell, self.encoder_inputs,
                                                        initial_state=self.init_state)
tensorflowdeep-learningrecurrent-neural-network
17
JimZer

デコードレイヤー：

trainingとinferenceの違いにより、デコードは2つの部分で構成されます。

特定のタイムステップでのデコーダー入力は、常に前のタイムステップの出力から取得されます。ただし、トレーニング中、出力は実際のターゲットにfixedされます（実際のターゲットは次のようにフィードバックされます）入力）、これはパフォーマンスを向上させることが示されています。

これらは両方とも、tf.contrib.seq2seqのメソッドを使用して処理されます。

  1. decoderの主な関数は次のとおりです。動的デコードを実行するseq2seq.dynamic decoder()：

    tf.contrib.seq2seq.dynamic_decode(decoder,maximum_iterations)

    これは、入力としてDecoderインスタンスとmaximum_iterations=maximum seq lengthを取ります。

    1.1 Decoderインスタンスは次のものからのものです。

    seq2seq.BasicDecoder(cell, helper, initial_state,output_layer)

    入力は、cell（RNNCellインスタンス）、helper（ヘルパーインスタンス）、initial_state（エンコーダーの出力状態である必要があるデコーダーの初期状態）、およびoutput_layer（オプションの高密度予測を行うための出力としてのレイヤー）

    1.2RNNCellインスタンスはrnn.MultiRNNCell()にすることができます。

    1.3 helperインスタンスは、trainingとinferenceが異なるインスタンスです。 trainingの間、入力をデコーダーに供給し、inferenceの間、time-step (t)のデコーダーの出力を入力として渡します。 time step (t+1)のデコーダー。

    トレーニングの場合：ヘルパー関数seq2seq.TrainingHelper(inputs, sequence_length)を使用します。これは、入力を読み取るだけです。

    推論のために：ヘルパー関数を呼び出します：seq2seq.GreedyEmbeddingHelper() or seqseq.SampleEmbeddingHelper()、これはargmax() or sampling(from a distribution)を使用するかどうかが異なります結果を出力し、埋め込みレイヤーに渡して次の入力を取得します。

まとめ：Seq2Seqモデル

  1. エンコーダーの状態をencoder layerから取得し、それをinitial_stateとしてデコーダーに渡します。
  2. seq2seq.dynamic_decoder()を使用して、decoder trainおよびdecoder inferenceの出力を取得します。両方のメソッドを呼び出すときは、重みが共有されていることを確認してください。 （重みを再利用するには、variable_scopeを使用します）
  3. 次に、損失関数seq2seq.sequence_lossを使用してネットワークをトレーニングします。

サンプルコードは ここ および ここ です。

19
vijay m