web-dev-qa-db-ja.com

Python DictWriterはUTF-8エンコードCSVファイルを書き込みます

  1. Unicode文字列を含む辞書のリストがあります。
  2. csv.DictWriterは、辞書のリストをCSVファイルに書き込むことができます。
  3. CSVファイルをUTF8でエンコードする必要があります。
  4. csvモジュールは、Unicode文字列のUTF8への変換を処理できません。

  5. csvモジュールのドキュメントには、すべてをUTF8に変換する例があります。

    def utf_8_encoder(unicode_csv_data):
    for line in unicode_csv_data:
        yield line.encode('utf-8')

  6. また、UnicodeWriterクラスもあります。

しかし... DictWriterをこれらで動作させるにはどうすればよいですか？逆アセンブルされた辞書をキャッチし、ファイルに書き込む前にエンコードするために、その途中で自分自身を注入する必要はないでしょうか？わかりません。

pythonunicodecsvutf-8
50
endolith

[〜＃〜] update [〜＃〜]：サードパーティ nicodecsv モジュールは、君は。このコードの下の例。また、サードパーティのモジュールを必要としないPython 3ソリューションがあります。

オリジナルPython 2 Answer

Python 2.7以降を使用している場合は、DictWriterに渡す前に辞書をutf-8に再マップする辞書内包表記を使用します。

# coding: utf-8
import csv
D = {'name':u'马克','pinyin':u'mǎkè'}
f = open('out.csv','wb')
f.write(u'\ufeff'.encode('utf8')) # BOM (optional...Excel needs it to open UTF-8 file properly)
w = csv.DictWriter(f,sorted(D.keys()))
w.writeheader()
w.writerow({k:v.encode('utf8') for k,v in D.items()})
f.close()

このアイデアを使用して、UnicodeWriterをDictUnicodeWriterに更新できます。＃コーディング：utf-8 import csv import cStringIO import codecs

class DictUnicodeWriter(object):

    def __init__(self, f, fieldnames, dialect=csv.Excel, encoding="utf-8", **kwds):
        # Redirect output to a queue
        self.queue = cStringIO.StringIO()
        self.writer = csv.DictWriter(self.queue, fieldnames, dialect=dialect, **kwds)
        self.stream = f
        self.encoder = codecs.getincrementalencoder(encoding)()

    def writerow(self, D):
        self.writer.writerow({k:v.encode("utf-8") for k,v in D.items()})
        # Fetch UTF-8 output from the queue ...
        data = self.queue.getvalue()
        data = data.decode("utf-8")
        # ... and reencode it into the target encoding
        data = self.encoder.encode(data)
        # write to the target stream
        self.stream.write(data)
        # empty queue
        self.queue.truncate(0)

    def writerows(self, rows):
        for D in rows:
            self.writerow(D)

    def writeheader(self):
        self.writer.writeheader()

D1 = {'name':u'马克','pinyin':u'Mǎkè'}
D2 = {'name':u'美国','pinyin':u'Měiguó'}
f = open('out.csv','wb')
f.write(u'\ufeff'.encode('utf8')) # BOM (optional...Excel needs it to open UTF-8 file properly)
w = DictUnicodeWriter(f,sorted(D.keys()))
w.writeheader()
w.writerows([D1,D2])
f.close()

Python 2 nicodecsv 例：

# coding: utf-8
import unicodecsv as csv

D = {u'name':u'马克',u'pinyin':u'mǎkè'}

with open('out.csv','wb') as f:
    w = csv.DictWriter(f,fieldnames=sorted(D.keys()),encoding='utf-8-sig')
    w.writeheader()
    w.writerow(D)

Python 3：

さらに、Python 3の組み込みcsvモジュールはUnicodeをネイティブにサポートします。

# coding: utf-8
import csv

D = {u'name':u'马克',u'pinyin':u'mǎkè'}

# Use newline='' instead of 'wb' in Python 3.
with open('out.csv','w',encoding='utf-8-sig',newline='') as f:
    w = csv.DictWriter(f,fieldnames=sorted(D.keys()))
    w.writeheader()
    w.writerow(D)
88
Mark Tolonen

素晴らしい nicodeCSV モジュールを使用する簡単な回避策があります。持ったら、行を変更するだけです

import csv

に

import unicodecsv as csv

そして、UTF-8でニースを自動的に開始します。

注：Python 3に切り替えると、この問題もなくなります（ありがとう jamescampbell それはとにかくやるべきことです。

39
rlafuente

DictをDictWriter.writerow()に渡すと、その場で値をUTF-8に変換できます。例えば：

import csv

rows = [
    {'name': u'Anton\xedn Dvo\u0159\xe1k','country': u'\u010cesko'},
    {'name': u'Bj\xf6rk Gu\xf0mundsd\xf3ttir', 'country': u'\xcdsland'},
    {'name': u'S\xf8ren Kierkeg\xe5rd', 'country': u'Danmark'}
    ]

# implement this wrapper on 2.6 or lower if you need to output a header
class DictWriterEx(csv.DictWriter):
    def writeheader(self):
        header = dict(Zip(self.fieldnames, self.fieldnames))
        self.writerow(header)

out = open('foo.csv', 'wb')
writer = DictWriterEx(out, fieldnames=['name','country'])
# DictWriter.writeheader() was added in 2.7 (use class above for <= 2.6)
writer.writeheader()
for row in rows:
    writer.writerow(dict((k, v.encode('utf-8')) for k, v in row.iteritems()))
out.close()

出力foo.csv：

name,country
Antonín Dvořák,Česko
Björk Guðmundsdóttir,Ísland
Søren Kierkegård,Danmark
15
samplebias

次のように、プロキシクラスを使用して、必要に応じてdict値をエンコードできます。

# -*- coding: utf-8 -*- 
import csv
d = {'a':123,'b':456, 'c':u'Non-ASCII: проверка'}

class DictUnicodeProxy(object):
    def __init__(self, d):
        self.d = d
    def __iter__(self):
        return self.d.__iter__()
    def get(self, item, default=None):
        i = self.d.get(item, default)
        if isinstance(i, unicode):
            return i.encode('utf-8')
        return i

with open('some.csv', 'wb') as f:
    writer = csv.DictWriter(f, ['a', 'b', 'c'])
    writer.writerow(DictUnicodeProxy(d))
6
Daniel Kluev

コンテンツでcsv.writerを呼び出すとき、アイデアは（utf-8）エンコードされたコンテンツを提供するように、コンテンツをutf_8_encoderに渡すことです。

2
Senthil Kumaran

私の解決策は少し異なります。上記のすべてのソリューションはユニコード互換のdictを使用することに焦点を当てていますが、私のソリューションはDictWriterをユニコードと互換性のあるものにします。このアプローチはpython docs（ 1 ）でも提案されています。

クラスUTF8Recoder、UnicodeReader、UnicodeWriterは、python docs。UnicodeWriter-> writerowも少し変更されました。

通常のDictWriter/DictReaderとして使用します。

コードは次のとおりです。

import csv, codecs, cStringIO

class UTF8Recoder:
    """
    Iterator that reads an encoded stream and reencodes the input to UTF-8
    """
    def __init__(self, f, encoding):
        self.reader = codecs.getreader(encoding)(f)

    def __iter__(self):
        return self

    def next(self):
        return self.reader.next().encode("utf-8")

class UnicodeReader:
    """
    A CSV reader which will iterate over lines in the CSV file "f",
    which is encoded in the given encoding.
    """

    def __init__(self, f, dialect=csv.Excel, encoding="utf-8", **kwds):
        f = UTF8Recoder(f, encoding)
        self.reader = csv.reader(f, dialect=dialect, **kwds)

    def next(self):
        row = self.reader.next()
        return [unicode(s, "utf-8") for s in row]

    def __iter__(self):
        return self

class UnicodeWriter:
    """
    A CSV writer which will write rows to CSV file "f",
    which is encoded in the given encoding.
    """

    def __init__(self, f, dialect=csv.Excel, encoding="utf-8", **kwds):
        # Redirect output to a queue
        self.queue = cStringIO.StringIO()
        self.writer = csv.writer(self.queue, dialect=dialect, **kwds)
        self.stream = f
        self.encoder = codecs.getincrementalencoder(encoding)()

    def writerow(self, row):
        self.writer.writerow([unicode(s).encode("utf-8") for s in row])
        # Fetch UTF-8 output from the queue ...
        data = self.queue.getvalue()
        data = data.decode("utf-8")
        # ... and reencode it into the target encoding
        data = self.encoder.encode(data)
        # write to the target stream
        self.stream.write(data)
        # empty queue
        self.queue.truncate(0)

    def writerows(self, rows):
        for row in rows:
            self.writerow(row)

class UnicodeDictWriter(csv.DictWriter, object):
    def __init__(self, f, fieldnames, restval="", extrasaction="raise", dialect="Excel", *args, **kwds):
        super(UnicodeDictWriter, self).__init__(f, fieldnames, restval="", extrasaction="raise", dialect="Excel", *args, **kwds)
        self.writer = UnicodeWriter(f, dialect, **kwds)
1
b1r3k