web-dev-qa-db-ja.com

tensorflowでカスタムpython関数を使用してデータをプリフェッチする方法

I/Oレイテンシを隠すためにトレーニングデータをプリフェッチしようとしています。カスタムPythonディスクからデータをロードし、データを前処理するコード（コンテキストウィンドウを追加するなど）。つまり、1つのスレッドはデータの前処理を行い、もう1つはトレーニングを行います。 TensorFlowでこれは可能ですか？

更新：@mrryの例に基づいた実例があります。

import numpy as np
import tensorflow as tf
import threading

BATCH_SIZE = 5
TRAINING_ITERS = 4100

feature_input = tf.placeholder(tf.float32, shape=[128])
label_input = tf.placeholder(tf.float32, shape=[128])

q = tf.FIFOQueue(200, [tf.float32, tf.float32], shapes=[[128], [128]])
enqueue_op = q.enqueue([label_input, feature_input])

label_batch, feature_batch = q.dequeue_many(BATCH_SIZE)
c = tf.reshape(feature_batch, [BATCH_SIZE, 128]) + tf.reshape(label_batch, [BATCH_SIZE, 128])

sess = tf.Session()

def load_and_enqueue(sess, enqueue_op, coord):
  with open('dummy_data/features.bin') as feature_file, open('dummy_data/labels.bin') as label_file:
    while not coord.should_stop():
      feature_array = np.fromfile(feature_file, np.float32, 128)
      if feature_array.shape[0] == 0:
        print('reach end of file, reset using seek(0,0)')
        feature_file.seek(0,0)
        label_file.seek(0,0)
        continue
      label_value = np.fromfile(label_file, np.float32, 128)

      sess.run(enqueue_op, feed_dict={feature_input: feature_array,
                                      label_input: label_value})

coord = tf.train.Coordinator()
t = threading.Thread(target=load_and_enqueue, args=(sess,enqueue_op, coord))
t.start()

for i in range(TRAINING_ITERS):
  sum = sess.run(c)
  print('train_iter='+str(i))
  print(sum)

coord.request_stop()
coord.join([t])
pythonmultithreadinglatencytensorflowprefetch
39
read Read

これは一般的な使用例であり、ほとんどの実装ではTensorFlowのqueuesを使用して、トレーニングコードから前処理コードを分離します。キューの使用方法に関するチュートリアル がありますが 、主な手順は次のとおりです。

  1. 前処理されたデータをバッファリングするキューqを定義します。 TensorFlowは、単純な _tf.FIFOQueue_ をサポートします。これは、キューに入れられた順序で要素を生成し、より高度な _tf.RandomShuffleQueue_ 要素をランダムな順序で生成します。キュー要素は、1つ以上のテンソルのタプルです（異なるタイプと形状を持つことができます）。すべてのキューは単一要素（enqueue、dequeue）およびバッチ（_enqueue_many_、_dequeue_many_）操作をサポートしますが、バッチ操作を使用するには、キューを構築するときのキュー要素内の各テンソル。

  2. 前処理済みの要素をキューに入れるサブグラフを作成します。これを行う1つの方法は、単一の入力例に対応するテンソルの tf.placeholder() opsをいくつか定義し、 に渡すことです。 q.enqueue() 。 （前処理で一度にバッチが生成される場合は、代わりに q.enqueue_many() を使用する必要があります。）このサブグラフにTensorFlow opsを含めることもできます。

  3. トレーニングを実行するサブグラフを作成します。これは通常のTensorFlowグラフのように見えますが、 q.dequeue_many(BATCH_SIZE) を呼び出して入力を取得します。

  4. セッションを開始します。

  5. 前処理ロジックを実行する1つ以上のスレッドを作成してから、enqueue opを実行して、前処理されたデータを入力します。これに役立つ _tf.train.Coordinator_ および _tf.train.QueueRunner_ ユーティリティクラスがあります。

  6. 通常どおり、トレーニンググラフ（オプティマイザーなど）を実行します。

EDIT：以下に、簡単なload_and_enqueue()関数とコードの断片を示します。

_# Features are length-100 vectors of floats
feature_input = tf.placeholder(tf.float32, shape=[100])
# Labels are scalar integers.
label_input = tf.placeholder(tf.int32, shape=[])

# Alternatively, could do:
# feature_batch_input = tf.placeholder(tf.float32, shape=[None, 100])
# label_batch_input = tf.placeholder(tf.int32, shape=[None])

q = tf.FIFOQueue(100, [tf.float32, tf.int32], shapes=[[100], []])
enqueue_op = q.enqueue([feature_input, label_input])

# For batch input, do:
# enqueue_op = q.enqueue_many([feature_batch_input, label_batch_input])

feature_batch, label_batch = q.dequeue_many(BATCH_SIZE)
# Build rest of model taking label_batch, feature_batch as input.
# [...]
train_op = ...

sess = tf.Session()

def load_and_enqueue():
  with open(...) as feature_file, open(...) as label_file:
    while True:
      feature_array = numpy.fromfile(feature_file, numpy.float32, 100)
      if not feature_array:
        return
      label_value = numpy.fromfile(feature_file, numpy.int32, 1)[0]

      sess.run(enqueue_op, feed_dict={feature_input: feature_array,
                                      label_input: label_value})

# Start a thread to enqueue data asynchronously, and hide I/O latency.
t = threading.Thread(target=load_and_enqueue)
t.start()

for _ in range(TRAINING_EPOCHS):
  sess.run(train_op)
_
52
mrry

つまり、1つのスレッドがデータの前処理を行い、もう1つのスレッドがトレーニングを行います。 TensorFlowでこれは可能ですか？

はい、そうです。 mrryのソリューションは機能しますが、もっと簡単です。

データの取得

tf.py_func python関数をラップしてTensorFlow演算子として使用します。そのため、毎回sess.run()でデータをロードできます。このアプローチの問題はそのデータは、sess.run()中にメインスレッドを介してロードされます。

最小限の例：

def get_numpy_tensor():
  return np.array([[1,2],[3,4]], dtype=np.float32)
tensorflow_tensor = tf.py_func(get_numpy_tensor, [], tf.float32)

より複雑な例：

def get_numpy_tensors():
  # Load data from the disk into numpy arrays.
  input = np.array([[1,2],[3,4]], dtype=np.float32)
  target = np.int32(1)
  return input, target
tensorflow_input, tensorflow_target = tf.py_func(get_numpy_tensors, [], [tf.float32, tf.int32])

tensorflow_input, tensorflow_target = 2*tensorflow_input, 2*tensorflow_target

sess = tf.InteractiveSession()
numpy_input, numpy_target = sess.run([tensorflow_input, tensorflow_target])
assert np.all(numpy_input==np.array([[2,4],[6,8]])) and numpy_target==2

別のスレッドでデータをプリフェッチする

別のスレッドでデータをキューに入れるには（sess.run()がデータを待つ必要がないように）、tf.train.batch()の演算子で tf.py_func() を使用できます。

最小限の例：

tensor_shape = get_numpy_tensor().shape
tensorflow_tensors = tf.train.batch([tensorflow_tensor], batch_size=32, shapes=[tensor_shape])
# Run `tf.train.start_queue_runners()` once session is created.

tensorflow_tensorの形状が指定されている場合、引数shapesを省略できます。

tensor_shape = get_numpy_tensor().shape
tensorflow_tensor.set_shape(tensor_shape)
tensorflow_tensors = tf.train.batch([tensorflow_tensor], batch_size=32)
# Run `tf.train.start_queue_runners()` once session is created.

より複雑な例：

input_shape, target_shape = (2, 2), ()
def get_numpy_tensors():
  input = np.random.Rand(*input_shape).astype(np.float32)
  target = np.random.randint(10, dtype=np.int32)
  print('f', end='')
  return input, target
tensorflow_input, tensorflow_target = tf.py_func(get_numpy_tensors, [], [tf.float32, tf.int32])
batch_size = 2
tensorflow_inputs, tensorflow_targets = tf.train.batch([tensorflow_input, tensorflow_target], batch_size, shapes=[input_shape, target_shape], capacity=2)
# Internal queue will contain at most `capasity=2` times `batch_size=2` elements `[tensorflow_input, tensorflow_target]`.

tensorflow_inputs, tensorflow_targets = 2*tensorflow_inputs, 2*tensorflow_targets

sess = tf.InteractiveSession()
tf.train.start_queue_runners() # Internally, `tf.train.batch` uses a QueueRunner, so we need to ask tf to start it.
for _ in range(10):
  numpy_inputs, numpy_targets = sess.run([tensorflow_inputs, tensorflow_targets])
  assert numpy_inputs.shape==(batch_size, *input_shape) and numpy_targets.shape==(batch_size, *target_shape)
  print('r', end='')

# Prints `fffffrrffrfrffrffrffrffrffrffrf`.

get_numpy_tensor()がテンソルのバッチを返す場合、tf.train.batch(..., enqueue_many=True)が役立ちます。

7
AlexP