web-dev-qa-db-ja.com

Tensorflow：Tensorboardでカスタム画像を表示する方法（例：Matplotlibプロット）

Tensorboard ReadMeの Image Dashboard セクションには次のように記載されています。

画像ダッシュボードは任意のpngをサポートしているため、これを使用してカスタムビジュアライゼーション（例：matplotlib scatterplots）をTensorBoardに埋め込むことができます。

Pyplotイメージをファイルに書き込み、テンソルとして読み戻し、次にtf.image_summary（）で使用してTensorBoardに書き込む方法を確認しましたが、readmeのこのステートメントはより直接的な方法があることを示唆しています。ある？そうである場合、これを効率的に行う方法のドキュメントや例はありますか？

pythonmatplotlibtensorflowtensorboard
27
RobR

メモリバッファにイメージがある場合、非常に簡単です。以下に、例を示します。ここでは、pyplotをバッファに保存し、TF画像表現に変換してから、画像サマリーに送信します。

import io
import matplotlib.pyplot as plt
import tensorflow as tf


def gen_plot():
    """Create a pyplot plot and save to buffer."""
    plt.figure()
    plt.plot([1, 2])
    plt.title("test")
    buf = io.BytesIO()
    plt.savefig(buf, format='png')
    buf.seek(0)
    return buf


# Prepare the plot
plot_buf = gen_plot()

# Convert PNG buffer to TF image
image = tf.image.decode_png(plot_buf.getvalue(), channels=4)

# Add the batch dimension
image = tf.expand_dims(image, 0)

# Add image summary
summary_op = tf.summary.image("plot", image)

# Session
with tf.Session() as sess:
    # Run
    summary = sess.run(summary_op)
    # Write summary
    writer = tf.train.SummaryWriter('./logs')
    writer.add_summary(summary)
    writer.close()

これにより、次のTensorBoard視覚化が提供されます。

enter image description here

40
Andrzej Pronobis

私の答えに少し遅れました。 tf-matplotlib を使用すると、単純な散布図は次のように要約されます。

import tensorflow as tf
import numpy as np

import tfmpl

@tfmpl.figure_tensor
def draw_scatter(scaled, colors): 
    '''Draw scatter plots. One for each color.'''  
    figs = tfmpl.create_figures(len(colors), figsize=(4,4))
    for idx, f in enumerate(figs):
        ax = f.add_subplot(111)
        ax.axis('off')
        ax.scatter(scaled[:, 0], scaled[:, 1], c=colors[idx])
        f.tight_layout()

    return figs

with tf.Session(graph=tf.Graph()) as sess:

    # A point cloud that can be scaled by the user
    points = tf.constant(
        np.random.normal(loc=0.0, scale=1.0, size=(100, 2)).astype(np.float32)
    )
    scale = tf.placeholder(tf.float32)        
    scaled = points*scale

    # Note, `scaled` above is a tensor. Its being passed `draw_scatter` below. 
    # However, when `draw_scatter` is invoked, the tensor will be evaluated and a
    # numpy array representing its content is provided.   
    image_tensor = draw_scatter(scaled, ['r', 'g'])
    image_summary = tf.summary.image('scatter', image_tensor)      
    all_summaries = tf.summary.merge_all() 

    writer = tf.summary.FileWriter('log', sess.graph)
    summary = sess.run(all_summaries, feed_dict={scale: 2.})
    writer.add_summary(summary, global_step=0)

実行すると、Tensorboard内に次のプロットが表示されます 

tf-matplotlibは、テンソル入力の評価を処理し、pyplotスレッドの問題を回避し、実行時クリティカルプロットのブリットをサポートすることに注意してください。

8
cheind

次のスクリプトは、中間RGB/PNGエンコードを使用しません。また、実行中の追加の操作構築に関する問題も修正され、単一のサマリーが再利用されます。

図のサイズは、実行中も同じままであると予想されます

動作するソリューション：

import matplotlib.pyplot as plt
import tensorflow as tf
import numpy as np

def get_figure():
  fig = plt.figure(num=0, figsize=(6, 4), dpi=300)
  fig.clf()
  return fig


def fig2rgb_array(fig, expand=True):
  fig.canvas.draw()
  buf = fig.canvas.tostring_rgb()
  ncols, nrows = fig.canvas.get_width_height()
  shape = (nrows, ncols, 3) if not expand else (1, nrows, ncols, 3)
  return np.fromstring(buf, dtype=np.uint8).reshape(shape)


def figure_to_summary(fig):
  image = fig2rgb_array(fig)
  summary_writer.add_summary(
    vis_summary.eval(feed_dict={vis_placeholder: image}))


if __name__ == '__main__':
      # construct graph
      x = tf.Variable(initial_value=tf.random_uniform((2, 10)))
      inc = x.assign(x + 1)

      # construct summary
      fig = get_figure()
      vis_placeholder = tf.placeholder(tf.uint8, fig2rgb_array(fig).shape)
      vis_summary = tf.summary.image('custom', vis_placeholder)

      with tf.Session() as sess:
        tf.global_variables_initializer().run()
        summary_writer = tf.summary.FileWriter('./tmp', sess.graph)

        for i in range(100):
          # execute step
          _, values = sess.run([inc, x])
          # draw on the plot
          fig = get_figure()
          plt.subplot('111').scatter(values[0], values[1])
          # save the summary
          figure_to_summary(fig)
7
y.selivonchyk

これは、Andrzej Pronobisの答えを完成させるつもりです。彼のニースの記事をよく読んで、これをセットアップしました最小限の作業例：

    plt.figure()
    plt.plot([1, 2])
    plt.title("test")
    buf = io.BytesIO()
    plt.savefig(buf, format='png')
    buf.seek(0)
    image = tf.image.decode_png(buf.getvalue(), channels=4)
    image = tf.expand_dims(image, 0)
    summary = tf.summary.image("test", image, max_outputs=1)
    writer.add_summary(summary, step)

Writerは tf.summary.FileWriter のインスタンスです。これにより、次のエラーが発生しました：AttributeError： 'Tensor' object has no attribute 'value' for this github post has the solution：概要は、ライターに追加する前に評価（文字列に変換）する必要があります。そのため、作業コードは次のように残りました（最後の行に.eval（）呼び出しを追加するだけです）：

    plt.figure()
    plt.plot([1, 2])
    plt.title("test")
    buf = io.BytesIO()
    plt.savefig(buf, format='png')
    buf.seek(0)
    image = tf.image.decode_png(buf.getvalue(), channels=4)
    image = tf.expand_dims(image, 0)
    summary = tf.summary.image("test", image, max_outputs=1)
    writer.add_summary(summary.eval(), step)

これは彼の答えにコメントするのに十分短いかもしれませんが、これらは簡単に見落とされる可能性があります（そして、私は別の何かをしているかもしれません）。

乾杯、
アンドレス

1
fr_andres