web-dev-qa-db-ja.com

グラフプロト（pb / pbtxt）をTensorFlowServingまたはCloudMLEngineで使用するためにSavedModelに変換します

私はトレーニングしたモデルで TensorFlow for Poets 2 codelabをフォローしており、重みが埋め込まれた凍結された量子化グラフを作成しました。単一のファイルにキャプチャされます-たとえばmy_quant_graph.pb。

そのグラフを TensorFlow Android推論ライブラリ で推論に使用できるので、Cloud ML Engineでも同じことができると思いましたが、それだけのようです。 SavedModelモデルで動作します。

凍結/量子化されたグラフを単一のpbファイルに変換してMLエンジンで使用するにはどうすればよいですか？

tensorflowtensorflow-servinggoogle-cloud-ml
6
Mark McDonald

SavedModelは、保存されたグラフに関する追加情報を提供することがわかりました。凍結されたグラフがアセットを必要としないと仮定すると、指定されたサービング署名のみが必要になります。

これが、グラフをCloudMLエンジンが受け入れる形式に変換するために実行したpythonコードです。入力/出力テンソルのペアが1つしかないことに注意してください。

import tensorflow as tf
from tensorflow.python.saved_model import signature_constants
from tensorflow.python.saved_model import tag_constants

export_dir = './saved'
graph_pb = 'my_quant_graph.pb'

builder = tf.saved_model.builder.SavedModelBuilder(export_dir)

with tf.gfile.GFile(graph_pb, "rb") as f:
    graph_def = tf.GraphDef()
    graph_def.ParseFromString(f.read())

sigs = {}

with tf.Session(graph=tf.Graph()) as sess:
    # name="" is important to ensure we don't get spurious prefixing
    tf.import_graph_def(graph_def, name="")
    g = tf.get_default_graph()
    inp = g.get_tensor_by_name("real_A_and_B_images:0")
    out = g.get_tensor_by_name("generator/Tanh:0")

    sigs[signature_constants.DEFAULT_SERVING_SIGNATURE_DEF_KEY] = \
        tf.saved_model.signature_def_utils.predict_signature_def(
            {"in": inp}, {"out": out})

    builder.add_meta_graph_and_variables(sess,
                                         [tag_constants.SERVING],
                                         signature_def_map=sigs)

builder.save()
16
Mark McDonald