GoogleCloudに保存されているトレーニングTFRecordを使用する
私の目標は、Tensorflowトレーニングアプリをローカルで実行するときに、Google Cloudストレージに保存されているトレーニングデータ（形式：tfrecords）を使用することです。 （なぜローカルなのですか？：Cloud MLのトレーニングパッケージに変換する前にテストしています）
に基づく このスレッド 基盤となるTensorflow APIはgs：//（url）を読み取ることができるはずなので、何もする必要はありません。
ただし、そうではなく、表示されるエラーの形式は次のとおりです。
2017-06-06 15：38：55.589068：I tensorflow/core/platform/cloud/retrying_utils.cc：77]操作が失敗し、1.38118秒で自動的に再試行されます（10回のうち1回試行）。原因：使用不可： HTTPリクエストの実行中にエラーが発生しました（HTTPレスポンスコード0、エラーコード6、エラーメッセージ「ホストを解決できませんでした」メタデータ」）
2017-06-06 15：38：56.976396：I tensorflow/core/platform/cloud/retrying_utils.cc：77]操作が失敗し、1.94469秒で自動的に再試行されます（10回のうち2回試行）。原因：使用不可： HTTPリクエストの実行中にエラーが発生しました（HTTPレスポンスコード0、エラーコード6、エラーメッセージ「ホストを解決できませんでした」メタデータ」）
2017-06-06 15：38：58.925964：I tensorflow/core/platform/cloud/retrying_utils.cc：77]操作が失敗し、2.76491秒で自動的に再試行されます（10回のうち3回試行）。原因：使用不可： HTTPリクエストの実行中にエラーが発生しました（HTTPレスポンスコード0、エラーコード6、エラーメッセージ「ホストを解決できませんでした」メタデータ」）
このエラーのデバッグを開始する必要がある場所を追跡できません。
これは問題を再現したスニペットであり、私が使用しているtensorflowAPIも示しています。
def _preprocess_features(features):
"""Function that returns preprocessed images"""
def _parse_single_example_from_tfrecord(value):
features = (
tf.parse_single_example(value,
features={'image_raw': tf.FixedLenFeature([], tf.string),
'label': tf.FixedLenFeature([model_config.LABEL_SIZE], tf.int64)
})
)
return features
def _read_and_decode_tfrecords(filename_queue):
reader = tf.TFRecordReader()
# Point it at the filename_queue
_, value = reader.read(filename_queue)
features = _parse_single_example_from_tfrecord(value)
# decode the binary string image data
image, label = _preprocess_features(features)
return image, label
def test_tfread(filelist):
train_filename_queue = (
tf.train.string_input_producer(filelist,
num_epochs=None,
shuffle=True))
image, label = (
_read_and_decode_tfrecords(train_filename_queue))
return image
images= test_tfread(["gs://test-bucket/t.tfrecords"])
sess = tf.Session(config=tf.ConfigProto(
allow_soft_placement=True,
log_device_placement=True))
coord = tf.train.Coordinator()
threads = tf.train.start_queue_runners(sess=sess, coord=coord)
try:
for step in range(model_config.MAX_STEPS):
_ = sess.run([images])
finally:
# When done, ask the threads to stop.
coord.request_stop()
# Finally, wait for them to join (i.e. cleanly shut down)
coord.join(threads)
次のコマンドを実行してみてください
gcloud auth application-default login