オープンバイナリストリームをラップする方法-a Python 2 file
、a Python 3 io.BufferedReader
、io.BytesIO
– io.TextIOWrapper
で?
変更せずに動作するコードを作成しようとしています。
io.TextIOWrapper
を生成します。io.TextIOWrapper
が必要なのは、そのAPIが標準ライブラリの他の部分で期待されているためです。他のファイルのようなタイプは存在しますが、適切なAPIを提供しません。
subprocess.Popen.stdout
属性として表示されるバイナリストリームのラッピング:
import subprocess
import io
gnupg_subprocess = subprocess.Popen(
["gpg", "--version"], stdout=subprocess.PIPE)
gnupg_stdout = io.TextIOWrapper(gnupg_subprocess.stdout, encoding="utf-8")
単体テストでは、ストリームはio.BytesIO
インスタンスに置き換えられ、サブプロセスやファイルシステムに触れることなくコンテンツを制御します。
gnupg_subprocess.stdout = io.BytesIO("Lorem ipsum".encode("utf-8"))
これは、Python 3の標準ライブラリによって作成されたストリームで正常に機能します。ただし、同じコードは、Python 2:
[Python 2]
>>> type(gnupg_subprocess.stdout)
<type 'file'>
>>> gnupg_stdout = io.TextIOWrapper(gnupg_subprocess.stdout, encoding="utf-8")
Traceback (most recent call last):
File "<stdin>", line 1, in <module>
AttributeError: 'file' object has no attribute 'readable'
file
の特別な扱い明らかな応答は、ストリームが実際にPython 2 file
オブジェクトであるかどうかをテストするコードにブランチを作成し、io.*
オブジェクトとは異なる方法で処理することです。
これは、十分にテストされたコードのオプションではありません。ユニットテストのブランチを作成するためです。可能な限り高速に実行するために、realファイルシステムオブジェクト–実行できません。
単体テストは、実際のfile
オブジェクトではなく、テストダブルを提供します。そのため、これらのテストダブルで実行されないブランチを作成すると、テストスイートが無効になります。
io.open
一部の回答者は、基になるファイルハンドルを再度開くことを提案します(例:io.open
を使用):
gnupg_stdout = io.open(
gnupg_subprocess.stdout.fileno(), mode='r', encoding="utf-8")
これは、Python 3とPython 2:
[Python 3]
>>> type(gnupg_subprocess.stdout)
<class '_io.BufferedReader'>
>>> gnupg_stdout = io.open(gnupg_subprocess.stdout.fileno(), mode='r', encoding="utf-8")
>>> type(gnupg_stdout)
<class '_io.TextIOWrapper'>
[Python 2]
>>> type(gnupg_subprocess.stdout)
<type 'file'>
>>> gnupg_stdout = io.open(gnupg_subprocess.stdout.fileno(), mode='r', encoding="utf-8")
>>> type(gnupg_stdout)
<type '_io.TextIOWrapper'>
しかし、もちろん実際のファイルを再び開くことに依存していますファイルハンドルから。したがって、テストダブルがio.BytesIO
インスタンスである場合、単体テストで失敗します。
>>> gnupg_subprocess.stdout = io.BytesIO("Lorem ipsum".encode("utf-8"))
>>> type(gnupg_subprocess.stdout)
<type '_io.BytesIO'>
>>> gnupg_stdout = io.open(gnupg_subprocess.stdout.fileno(), mode='r', encoding="utf-8")
Traceback (most recent call last):
File "<stdin>", line 1, in <module>
io.UnsupportedOperation: fileno
codecs.getreader
標準ライブラリにはcodecs
モジュールもあり、ラッパー機能を提供します。
import codecs
gnupg_stdout = codecs.getreader("utf-8")(gnupg_subprocess.stdout)
ストリームを再度開くことを試みないので、それは良いことです。ただし、io.TextIOWrapper
APIの提供に失敗します。具体的には、io.IOBase
を継承しないおよびencoding
属性を持たない:
>>> type(gnupg_subprocess.stdout)
<type 'file'>
>>> gnupg_stdout = codecs.getreader("utf-8")(gnupg_subprocess.stdout)
>>> type(gnupg_stdout)
<type 'instance'>
>>> isinstance(gnupg_stdout, io.IOBase)
False
>>> gnupg_stdout.encoding
Traceback (most recent call last):
File "<stdin>", line 1, in <module>
File "/usr/lib/python2.7/codecs.py", line 643, in __getattr__
return getattr(self.stream, name)
AttributeError: '_io.BytesIO' object has no attribute 'encoding'
したがって、codecs
は、io.TextIOWrapper
の代わりとなるオブジェクトを提供しません。
だから、Python 2とPython 3、テストダブルと実際のオブジェクトの両方で動作するコード、つまりwraps既に開いているバイトストリームの周りのio.TextIOWrapper
?
さまざまなフォーラムでの複数の提案に基づいて、基準を満たすために標準ライブラリを試してみると、私の現在の結論はこれはできません現在持っているライブラリとタイプです。
codecs.getreader を使用して、ラッパーオブジェクトを生成します。
text_stream = codecs.getreader("utf-8")(bytes_stream)
Python 2およびPython 3。
ラップするだけで_io.BytesIO
in io.BufferedReader
は、Python 2とPython 3。
import io
reader = io.BufferedReader(io.BytesIO("Lorem ipsum".encode("utf-8")))
wrapper = io.TextIOWrapper(reader)
wrapper.read() # returns Lorem ipsum
この回答はもともとos.pipeを使用することを示唆していましたが、パイプの読み取り側はPython 2で動作するためにio.BufferedReaderでラップする必要があるため、このソリューションはよりシンプルで割り当てを回避しますパイプ。
私もこれが必要でしたが、ここのスレッドに基づいて、Python 2のio
モジュールを使用することは不可能であると判断しました。これにより、file
の特別な扱い]私が行ったのは、file
(以下のコード)の非常に薄いラッパーを作成し、それを_io.BufferedReader
_でラップし、それを_io.TextIOWrapper
_コンストラクターに渡すことでした。明らかに、新しいコードパスはPython 3。
ちなみに、open()
の結果を_io.TextIOWrapper
_ in Python 3に直接渡すことができる理由は、バイナリモードopen()
実際に_io.BufferedReader
_インスタンスを返します(少なくともPython 3.4、これは当時テストしていた場所です)。
_import io
import six # for six.PY2
if six.PY2:
class _ReadableWrapper(object):
def __init__(self, raw):
self._raw = raw
def readable(self):
return True
def writable(self):
return False
def seekable(self):
return True
def __getattr__(self, name):
return getattr(self._raw, name)
def wrap_text(stream, *args, **kwargs):
# Note: order important here, as 'file' doesn't exist in Python 3
if six.PY2 and isinstance(stream, file):
stream = io.BufferedReader(_ReadableWrapper(stream))
return io.TextIOWrapper(stream)
_
少なくともこれは小さいので、単体テストが簡単にできない部品の露出を最小限に抑えることが望まれます。
さて、これはPython 2.7およびPython 3.5でテストされた、質問で言及されたすべてのケースに対する完全なソリューションのようです。一般的な解決策はファイル記述子を再度開くことになりましたが、io.BytesIOの代わりに、テスト用のパイプを使用してファイル記述子を作成する必要があります。
import io
import subprocess
import os
# Example function, re-opens a file descriptor for UTF-8 decoding,
# reads until EOF and prints what is read.
def read_as_utf8(fileno):
fp = io.open(fileno, mode="r", encoding="utf-8", closefd=False)
print(fp.read())
fp.close()
# Subprocess
gpg = subprocess.Popen(["gpg", "--version"], stdout=subprocess.PIPE)
read_as_utf8(gpg.stdout.fileno())
# Normal file (contains "Lorem ipsum." as UTF-8 bytes)
normal_file = open("loremipsum.txt", "rb")
read_as_utf8(normal_file.fileno()) # prints "Lorem ipsum."
# Pipe (for test harness - write whatever you want into the pipe)
pipe_r, pipe_w = os.pipe()
os.write(pipe_w, "Lorem ipsum.".encode("utf-8"))
os.close(pipe_w)
read_as_utf8(pipe_r) # prints "Lorem ipsum."
os.close(pipe_r)
python 2.7とpython 3.6。の両方でテストしたコードを次に示します。
ここで重要なのは、以前のストリームで最初にdetach()を使用する必要があるということです。これは基礎となるファイルを閉じず、未加工のストリームオブジェクトをリッピングするだけで再利用できます。 detach()は、TextIOWrapperでラップ可能なオブジェクトを返します。
ここでの例として、バイナリ読み取りモードでファイルを開き、そのように読み取りを行い、io.TextIOWrapperを介してUTF-8デコードされたテキストストリームに切り替えます。
この例をthis-file.pyとして保存しました
import io
fileName = 'this-file.py'
fp = io.open(fileName,'rb')
fp.seek(20)
someBytes = fp.read(10)
print(type(someBytes) + len(someBytes))
# now let's do some wrapping to get a new text (non-binary) stream
pos = fp.tell() # we're about to lose our position, so let's save it
newStream = io.TextIOWrapper(fp.detach(),'utf-8') # FYI -- fp is now unusable
newStream.seek(pos)
theRest = newStream.read()
print(type(theRest), len(theRest))
Python2とpython3の両方で実行すると、次のようになります。
$ python2.7 this-file.py
(<type 'str'>, 10)
(<type 'unicode'>, 406)
$ python3.6 this-file.py
<class 'bytes'> 10
<class 'str'> 406
明らかに、印刷構文は異なり、変数の型はpythonバージョン間で異なりますが、両方の場合に必要なように機能します。