web-dev-qa-db-ja.com

Keras + Tensorflow：複数のGPUでの予測

私はテンソルフローをバックエンドとしてKerasを使用しています。コンパイル済み/トレーニング済みのモデルが1つあります。

予測ループが遅いので、_predict_proba_呼び出しを並列化して高速化する方法を見つけたいと思います。 （データの）バッチのリストを取得し、使用可能なgpuごとに、それらのバッチのサブセットに対してmodel.predict_proba()を実行します。
本質的に：

_data = [ batch_0, batch_1, ... , batch_N ]
on gpu_0 => return predict_proba(batch_0)
on gpu_1 => return predict_proba(batch_1)
...
on gpu_N => return predict_proba(batch_N) 
_

純粋なTensorflowでは特定のGPUにオペレーションを割り当てることが可能であることを知っています（ https://www.tensorflow.org/tutorials/using_gp ）。しかし、Kerasのapiを使用してモデルを構築/コンパイル/トレーニングしたので、これが私の状況にどのように変換されるのかわかりません。

Pythonのマルチプロセッシングモジュールを使用して、predict_proba(batch_n)を実行するプロセスをgpuごとに開始する必要があるだけだと思っていました。別のSO post of mine： Keras + Tensorflow and Multiprocessing in Python を与えられれば、これは理論的に可能であることを知っています。しかし、これはまだ方法を知らないというジレンマを私に残しますプロセスを操作するGPUを実際に「選択」します。

私の質問は要約すると、TensorflowをKerasのバックエンドとして使用する場合、複数のGpusにわたってKerasの1つのモデルの予測をどのように並列化するのですか？

さらに、1つのGPUだけで同様の予測並列化が可能かどうかについて知りたいです。

高レベルの説明またはコード例をいただければ幸いです。

ありがとう！

pythontensorflowkeraspython-multiprocessing
13
John Cast

複数のgpusでkerasモデルを実行する方法を示す簡単な例を1つ作成しました。基本的に、複数のプロセスが作成され、各プロセスがgpuを所有します。処理中のGPU IDを指定するには、環境変数CUDA_VISIBLE_DEVICESを設定するのが非常に簡単な方法です（os.environ ["CUDA_VISIBLE_DEVICES"]）。このgitリポジトリがお役に立てば幸いです。

https://github.com/yuanyuanli85/Keras-Multiple-Process-Prediction

5
VictorLi

この関数を使用して、Kerasモデルを並列化できます（クレジット kuza55 ）。
https://github.com/kuza55/keras-extras/blob/master/utils/multi_gpu.py
。

from keras.layers import merge
from keras.layers.core import Lambda
from keras.models import Model

import tensorflow as tf

def make_parallel(model, gpu_count):
    def get_slice(data, idx, parts):
        shape = tf.shape(data)
        size = tf.concat([ shape[:1] // parts, shape[1:] ],axis=0)
        stride = tf.concat([ shape[:1] // parts, shape[1:]*0 ],axis=0)
        start = stride * idx
        return tf.slice(data, start, size)

    outputs_all = []
    for i in range(len(model.outputs)):
        outputs_all.append([])

    #Place a copy of the model on each GPU, each getting a slice of the batch
    for i in range(gpu_count):
        with tf.device('/gpu:%d' % i):
            with tf.name_scope('tower_%d' % i) as scope:

                inputs = []
                #Slice each input into a piece for processing on this GPU
                for x in model.inputs:
                    input_shape = Tuple(x.get_shape().as_list())[1:]
                    slice_n = Lambda(get_slice, output_shape=input_shape, arguments={'idx':i,'parts':gpu_count})(x)
                    inputs.append(slice_n)                

                outputs = model(inputs)

                if not isinstance(outputs, list):
                    outputs = [outputs]

                #Save all the outputs for merging back together later
                for l in range(len(outputs)):
                    outputs_all[l].append(outputs[l])

    # merge outputs on CPU
    with tf.device('/cpu:0'):
        merged = []
        for outputs in outputs_all:
            merged.append(merge(outputs, mode='concat', concat_axis=0))

        return Model(input=model.inputs, output=merged)
1
Temak