web-dev-qa-db-ja.com

Caffe：LMDBをPython

.mdbファイルを生成するcaffeを使用して機能を抽出しました。次に、Pythonを使用して読み取り、読み取り可能な数値として表示しようとしています。

import lmdb

lmdb_env = lmdb.open('caffefeat')
lmdb_txn = lmdb_env.begin()
lmdb_cursor = lmdb_txn.cursor()

for key, value in lmdb_cursor:
    print str(value)

これにより、読み取り不能で壊れた文字の非常に長い行が出力されます。

次に、int（value）を印刷してみましたが、次の結果が返されます。

ValueError: invalid literal for int() with base 10: '\x08\x80 \x10\x01\x18\x015\x8d\x80\xad?5'

float（value）は以下を提供します：

ValueError: could not convert string to float:? 5????5

これはlmdbファイル自体の問題ですか、それともデータ型の変換に関係していますか？

pythoncaffelmdb
17
ytrewq

ここに私が見つけた作業コードがあります

import caffe
import lmdb

lmdb_env = lmdb.open('directory_containing_mdb')
lmdb_txn = lmdb_env.begin()
lmdb_cursor = lmdb_txn.cursor()
datum = caffe.proto.caffe_pb2.Datum()

for key, value in lmdb_cursor:
    datum.ParseFromString(value)
    label = datum.label
    data = caffe.io.datum_to_array(datum)
    for l, d in Zip(label, data):
            print l, d
32
ytrewq

lmdbに画像をエンコードしている場合、@ ytrewqのコードを使用すると、おそらくこのエラーが表示されます。

ValueError: total size of new array must be unchanged

代わりにこの関数を使用してください。

import caffe
import lmdb
import PIL.Image
from StringIO import StringIO
import numpy as np

def read_lmdb(lmdb_file):
    cursor = lmdb.open(lmdb_file, readonly=True).begin().cursor()
    datum = caffe.proto.caffe_pb2.Datum()
    for _, value in cursor:
        datum.ParseFromString(value)
        s = StringIO()
        s.write(datum.data)
        s.seek(0)

        yield np.array(PIL.Image.open(s)), datum.label

例：

lmdb_dir = '/save/jobs/20160613-125532-958f/train_db/'
for im, label in read_lmdb(lmdb_dir):
    print label, im
16
Ghilas BELHADJ