web-dev-qa-db-ja.com

Unicode文字列のバイト文字列の変換

次のようなコードがあります：

a = "\u0432"
b = u"\u0432"
c = b"\u0432"
d = c.decode('utf8')

print(type(a), a)
print(type(b), b)
print(type(c), c)
print(type(d), d)

そして出力：

<class 'str'> в
<class 'str'> в
<class 'bytes'> b'\\u0432'
<class 'str'> \u0432

後者の場合、文字の代わりに文字コードが表示されるのはなぜですか？ Byte文字列をUnicodeコードに変換するにはどうすればよいですか？

pythonstringunicodepython-3.xtype-conversion
28
Alex T

文字列（またはPython 2）のUnicodeオブジェクト）、\uには特別な意味があります。つまり、「ここにUnicode IDで指定されたUnicode文字が来る」という意味です。したがって、u"\u0432"は、文字вになります。

b''プレフィックスは、これが8ビットバイトのシーケンスであり、バイトオブジェクトにはUnicode文字がないため、\uコードには特別な意味はありません。したがって、b"\u0432"は単なるバイトのシーケンス\、u、0、4、3および2。

基本的に、Unicode文字ではなく、Unicode文字の仕様を含む8ビット文字列があります。

この仕様は、Unicodeエスケープエンコーダーを使用して変換できます。

>>> c.decode('unicode_escape')
'в'
45
Lennart Regebro

レナートの答えが気に入りました。それは私が直面した特定の問題を解決するための正しい道に私を置きました。私が追加したのは、\ uのhtml互換コードを生成する機能ですか????文字列の仕様。基本的に、必要なのは1行だけです。

results = results.replace('\\u','&#x')

これはすべて、JSONの結果をブラウザーで適切に表示されるものに変換する必要から生じました。以下は、クラウドアプリケーションに統合されたテストコードです。

# References:
# http://stackoverflow.com/questions/9746303/how-do-i-send-a-post-request-as-a-json
# https://docs.python.org/3/library/http.client.html
# http://docs.python-requests.org/en/v0.10.7/user/quickstart/#custom-headers
# http://stackoverflow.com/questions/606191/convert-bytes-to-a-python-string
# http://www.w3schools.com/charsets/ref_utf_punctuation.asp
# http://stackoverflow.com/questions/13837848/converting-byte-string-in-unicode-string

import urllib.request
import json

body = [ { "query": "co-development and language.name:English", "page": 1, "pageSize": 100 } ]
myurl = "https://core.ac.uk:443/api-v2/articles/search?metadata=true&fulltext=false&citations=false&similar=false&duplicate=false&urls=true&extractedUrls=false&faithfulMetadata=false&apiKey=SZYoqzk0Vx5QiEATgBPw1b842uypeXUv"
req = urllib.request.Request(myurl)
req.add_header('Content-Type', 'application/json; charset=utf-8')
jsondata = json.dumps(body)
jsondatabytes = jsondata.encode('utf-8') # needs to be bytes
req.add_header('Content-Length', len(jsondatabytes))
print ('\n', jsondatabytes, '\n')
response = urllib.request.urlopen(req, jsondatabytes)
results = response.read()
results = results.decode('utf-8')
results = results.replace('\\u','&#x') # produces html hex version of \u???? unicode characters
print(results)
1
SoothingMist