web-dev-qa-db-ja.com

保存されたシンプルなTensorFlow 1.0.1グラフの推論を最適化する方法は？

保存された単純なTensorFlowグラフでoptimize_for_inferenceモジュールを正常に実行できません（Python 2.7; pip install tensorflow-gpu==1.0.1によってインストールされたパッケージ）。

バックグラウンド

TensorFlow Graphの保存

以下は、入力xplaceholder操作に5を追加する簡単なグラフを生成して保存するためのmy Pythonスクリプトです。

import tensorflow as tf

# make and save a simple graph
G = tf.Graph()
with G.as_default():
    x = tf.placeholder(dtype=tf.float32, shape=(), name="x")
    a = tf.Variable(5.0, name="a")
    y = tf.add(a, x, name="y")
    saver = tf.train.Saver()

with tf.Session(graph=G) as sess:
    sess.run(tf.global_variables_initializer())
    out = sess.run(fetches=[y], feed_dict={x: 1.0})
    print(out)
    saver.save(sess=sess, save_path="test_model")

TensorFlow Graphの復元

保存したグラフを再作成し、グラフパラメーターを復元する簡単な復元スクリプトがあります。両方の保存/復元スクリプトは同じ出力を生成します。

import tensorflow as tf

# Restore simple graph and test model output
G = tf.Graph()

with tf.Session(graph=G) as sess:
    # recreate saved graph (structure)
    saver = tf.train.import_meta_graph('./test_model.meta')
    # restore net params
    saver.restore(sess, tf.train.latest_checkpoint('./'))

    x = G.get_operation_by_name("x").outputs[0]
    y = G.get_operation_by_name("y").outputs
    out = sess.run(fetches=[y], feed_dict={x: 1.0})
    print(out[0])

最適化の試み

しかし、最適化に関してはあまり期待していませんが、推論のためにグラフを最適化しようとすると、次のエラーメッセージが表示されます。予想される出力ノードは、保存されたグラフに表示されません。

$ python -m tensorflow.python.tools.optimize_for_inference --input test_model.data-00000-of-00001 --output opt_model --input_names=x --output_names=y  
Traceback (most recent call last):  
  File "/usr/lib/python2.7/runpy.py", line 174, in _run_module_as_main  
    "__main__", fname, loader, pkg_name)  
  File "/usr/lib/python2.7/runpy.py", line 72, in _run_code  
    exec code in run_globals  
  File "/{path}/lib/python2.7/site-packages/tensorflow/python/tools/optimize_for_inference.py", line 141, in <module>  
    app.run(main=main, argv=[sys.argv[0]] + unparsed)  
  File "/{path}/local/lib/python2.7/site-packages/tensorflow/python/platform/app.py", line 44, in run  
    _sys.exit(main(_sys.argv[:1] + flags_passthrough))
  File "/{path}/lib/python2.7/site-packages/tensorflow/python/tools/optimize_for_inference.py", line 90, in main  
    FLAGS.output_names.split(","), FLAGS.placeholder_type_enum)  
  File "/{path}/local/lib/python2.7/site-packages/tensorflow/python/tools/optimize_for_inference_lib.py", line 91, in optimize_for_inference  
    placeholder_type_enum)  
  File "/{path}/local/lib/python2.7/site-packages/tensorflow/python/tools/strip_unused_lib.py", line 71, in strip_unused  
    output_node_names)  
  File "/{path}/local/lib/python2.7/site-packages/tensorflow/python/framework/graph_util_impl.py", line 141, in extract_sub_graph  
    assert d in name_to_node_map, "%s is not in graph" % d  
AssertionError: y is not in graph

さらに調査した結果、保存されたグラフのチェックポイントを検査することになり、1つのテンソル（aのみ、xなし、yなし）のみが表示されました。

(tf-1.0.1) $ python -m tensorflow.python.tools.inspect_checkpoint --file_name ./test_model --all_tensors
tensor_name:  a
5.0

特定の質問

  1. チェックポイントにxとyが表示されないのはなぜですか？それは、それらがテンソルではなく操作であるからでしょうか？
  2. optimize_for_inferenceモジュールに入力名と出力名を指定する必要があるので、入力ノードと出力ノードを参照できるようにグラフを作成するにはどうすればよいですか？
pythonpython-2.7tensorflowtensorflow-gpu
19
tdube

推論の最適化方法に関する詳細ガイド：

optimize_for_inferenceモジュールはfrozen binary GraphDefファイルを入力として、optimized Graph Defファイルを推論に使用できます。そして、frozen binary GraphDef fileモジュールを使用する必要があるfreeze_graphはGraphDef proto、a SaverDef protoおよびチェックポイントファイルに格納されている変数のセット。それを達成するための手順を以下に示します。

1.テンソルフローグラフの保存

 # make and save a simple graph
 G = tf.Graph()
 with G.as_default():
   x = tf.placeholder(dtype=tf.float32, shape=(), name="x")
   a = tf.Variable(5.0, name="a")
   y = tf.add(a, x, name="y")
   saver = tf.train.Saver()

with tf.Session(graph=G) as sess:
   sess.run(tf.global_variables_initializer())
   out = sess.run(fetches=[y], feed_dict={x: 1.0})

  # Save GraphDef
  tf.train.write_graph(sess.graph_def,'.','graph.pb')
  # Save checkpoint
  saver.save(sess=sess, save_path="test_model")

2.グラフをフリーズする

python -m tensorflow.python.tools.freeze_graph --input_graph graph.pb --input_checkpoint test_model --output_graph graph_frozen.pb --output_node_names=y

3.推論の最適化

python -m tensorflow.python.tools.optimize_for_inference --input graph_frozen.pb --output graph_optimized.pb --input_names=x --output_names=y

4.最適化されたグラフの使用

with tf.gfile.GFile('graph_optimized.pb', 'rb') as f:
   graph_def_optimized = tf.GraphDef()
   graph_def_optimized.ParseFromString(f.read())

G = tf.Graph()

with tf.Session(graph=G) as sess:
    y, = tf.import_graph_def(graph_def_optimized, return_elements=['y:0'])
    print('Operations in Optimized Graph:')
    print([op.name for op in G.get_operations()])
    x = G.get_tensor_by_name('import/x:0')
    out = sess.run(y, feed_dict={x: 1.0})
    print(out)

#Output
#Operations in Optimized Graph:
#['import/x', 'import/a', 'import/y']
#6.0

5.複数の出力名の場合

複数の出力ノードがある場合は、次を指定します：output_node_names = 'boxes, scores, classes'およびインポートグラフ、

 boxes,scores,classes, = tf.import_graph_def(graph_def_optimized, return_elements=['boxes:0', 'scores:0', 'classes:0'])
44
vijay m
  1. あなたはそれを間違っています：inputは、チェックポイントのデータ部分ではなく script のgraphdefファイルです。モデルを_.pb_ file /に凍結するか、グラフのprototxtを取得して、最適化推論スクリプトを使用する必要があります。

This script takes either a frozen binary GraphDef file (where the weight variables have been converted into constants by the freeze_graph script), or a text GraphDef proto file (the weight variables are stored in a separate checkpoint file), and outputs a new GraphDef with the optimizations applied.

  1. write_graph を使用してグラフプロトタイプファイルを取得する
  2. 凍結モデルを取得 グラフを凍結
1
Ishant Mrinal