NVIDIATensorRT推論エンジンでTensorflowを実行する
NVIDIATensorRTを使用してTensorflowモデルを実行したいと思います。現在、TensorRTはCaffeprototxtネットワーク記述子ファイルをサポートしています。
TensorflowモデルをCaffeモデルに変換するためのソースコードを見つけることができませんでした。回避策はありますか？
TensorRT 3.0は、UFF（ユニバーサルフレームワーク形式）を介したTensorFlowグラフのインポート/変換をサポートしています。一部のレイヤー実装が欠落しており、IPluginインターフェースを介したカスタム実装が必要になります。
以前のバージョンは、TensorFlowモデル/チェックポイントのネイティブインポートをサポートしていませんでした。
また、レイヤー/ネットワークの説明を独自の中間形式（テキストファイルなど）にエクスポートしてから、TensorRT C++ APIを使用して推論用のグラフを作成することもできます。畳み込みの重み/バイアスを個別にエクスポートする必要があります。重みの形式に注意してください。TensorFlowはNHWCを使用し、TensorRTはNCHWを使用します。また、重みについては、TFはRSCK（[filter_height、filter_width、input_depth、output_depth]）を使用し、TensorRTはKCRSを使用します。
テンソル形式の詳細については、このペーパーを参照してください： https://arxiv.org/abs/1410.0759
また、このリンクには有用な関連情報があります： https://www.tensorflow.org/versions/master/extend/tool_developers/
新しいTensorRT3でTensorFlowのサポートが追加されたため、現在のところ回避策は必要ありません。