UTF-8 ArrayBufferとString間の変換
UTF-8を使用してエンコードされた文字列を含むArrayBufferがあり、そのようなArrayBufferをJS Stringに変換する標準的な方法が見つかりません。 UTF-16を使用してエンコードされます）。
私はこのコードを多くの場所で見ましたが、1バイトより長いUTF-8コードポイントでどのように機能するかはわかりません。
return String.fromCharCode.apply(null, new Uint8Array(data));
同様に、StringからUTF-8でエンコードされたArrayBufferに変換する標準的な方法が見つかりません。
function stringToUint(string) {
var string = btoa(unescape(encodeURIComponent(string))),
charList = string.split(''),
uintArray = [];
for (var i = 0; i < charList.length; i++) {
uintArray.Push(charList[i].charCodeAt(0));
}
return new Uint8Array(uintArray);
}
function uintToString(uintArray) {
var encodedString = String.fromCharCode.apply(null, uintArray),
decodedString = decodeURIComponent(escape(atob(encodedString)));
return decodedString;
}
インターネットの助けを借りて、これらの小さな機能を使用して、問題を解決する必要があります！ working JSFiddle です。
[〜＃〜] edit [〜＃〜]：
Uint8Arrayのソースは外部であり、atobを使用できないため、削除する必要があります（ working fiddle ）：
function uintToString(uintArray) {
var encodedString = String.fromCharCode.apply(null, uintArray),
decodedString = decodeURIComponent(escape(encodedString));
return decodedString;
}
TextEncoder および TextDecoder の使用
var uint8array = new TextEncoder("utf-8").encode("Plain Text");
var string = new TextDecoder().decode(uint8array);
console.log(uint8array ,string )
これは動作するはずです：
// http://www.onicos.com/staff/iz/amuse/javascript/expert/utf.txt
/* utf.js - UTF-8 <=> UTF-16 convertion
*
* Copyright (C) 1999 Masanao Izumo <[email protected]>
* Version: 1.0
* LastModified: Dec 25 1999
* This library is free. You can redistribute it and/or modify it.
*/
function Utf8ArrayToStr(array) {
var out, i, len, c;
var char2, char3;
out = "";
len = array.length;
i = 0;
while (i < len) {
c = array[i++];
switch (c >> 4)
{
case 0: case 1: case 2: case 3: case 4: case 5: case 6: case 7:
// 0xxxxxxx
out += String.fromCharCode(c);
break;
case 12: case 13:
// 110x xxxx 10xx xxxx
char2 = array[i++];
out += String.fromCharCode(((c & 0x1F) << 6) | (char2 & 0x3F));
break;
case 14:
// 1110 xxxx 10xx xxxx 10xx xxxx
char2 = array[i++];
char3 = array[i++];
out += String.fromCharCode(((c & 0x0F) << 12) |
((char2 & 0x3F) << 6) |
((char3 & 0x3F) << 0));
break;
}
}
return out;
}
ハックを使用せず、ブラウザのJS機能に依存しないため、他のソリューションよりもいくらかクリーンです。他のJS環境でも機能します。
JSFiddle demo をご覧ください。
Githubには Encoding 以上のポリフィルがあります： text-encoding 。 Nodeまたはブラウザの場合は簡単です。Readmeでは次のことを推奨しています。
var uint8array = TextEncoder(encoding).encode(string);
var string = TextDecoder(encoding).decode(uint8array);
思い出すと、'utf-8'は必要なencodingです。もちろん、バッファをラップする必要があります。
var uint8array = new Uint8Array(utf8buffer);
私と同じように、あなたにとってもうまくいくことを願っています。
ブラウザでこれを行う場合、文字エンコーディングライブラリは組み込まれていませんが、次の方法で対応できます。
function pad(n) {
return n.length < 2 ? "0" + n : n;
}
var array = new Uint8Array(data);
var str = "";
for( var i = 0, len = array.length; i < len; ++i ) {
str += ( "%" + pad(array[i].toString(16)))
}
str = decodeURIComponent(str);
3バイトのUTF-8ユニットをデコードするデモを次に示します。 http://jsfiddle.net/Z9pQE/
メソッドreadAsArrayBufferおよびreadAsTextfrom FileReader = objectは、BlobオブジェクトをArrayBufferまたはDOMString非同期に変換します。
Blobオブジェクトタイプは、たとえば、生のテキストまたはバイト配列から作成できます。
let blob = new Blob([text], { type: "text/plain" });
let reader = new FileReader();
reader.onload = event =>
{
let buffer = event.target.result;
};
reader.readAsArrayBuffer(blob);
私はこれを約束に詰め込む方が良いと思います：
function textToByteArray(text)
{
let blob = new Blob([text], { type: "text/plain" });
let reader = new FileReader();
let done = function() { };
reader.onload = event =>
{
done(new Uint8Array(event.target.result));
};
reader.readAsArrayBuffer(blob);
return { done: function(callback) { done = callback; } }
}
function byteArrayToText(bytes, encoding)
{
let blob = new Blob([bytes], { type: "application/octet-stream" });
let reader = new FileReader();
let done = function() { };
reader.onload = event =>
{
done(event.target.result);
};
if(encoding) { reader.readAsText(blob, encoding); } else { reader.readAsText(blob); }
return { done: function(callback) { done = callback; } }
}
let text = "\uD83D\uDCA9 = \u2661";
textToByteArray(text).done(bytes =>
{
console.log(bytes);
byteArrayToText(bytes, 'UTF-8').done(text =>
{
console.log(text); // ???? = ♡
});
});
バイト配列から文字列への変換を探しているプログラマーの主な問題は、Unicode文字のUTF-8エンコード（圧縮）です。このコードはあなたを助けます：
var getString = function (strBytes) {
var MAX_SIZE = 0x4000;
var codeUnits = [];
var highSurrogate;
var lowSurrogate;
var index = -1;
var result = '';
while (++index < strBytes.length) {
var codePoint = Number(strBytes[index]);
if (codePoint === (codePoint & 0x7F)) {
} else if (0xF0 === (codePoint & 0xF0)) {
codePoint ^= 0xF0;
codePoint = (codePoint << 6) | (strBytes[++index] ^ 0x80);
codePoint = (codePoint << 6) | (strBytes[++index] ^ 0x80);
codePoint = (codePoint << 6) | (strBytes[++index] ^ 0x80);
} else if (0xE0 === (codePoint & 0xE0)) {
codePoint ^= 0xE0;
codePoint = (codePoint << 6) | (strBytes[++index] ^ 0x80);
codePoint = (codePoint << 6) | (strBytes[++index] ^ 0x80);
} else if (0xC0 === (codePoint & 0xC0)) {
codePoint ^= 0xC0;
codePoint = (codePoint << 6) | (strBytes[++index] ^ 0x80);
}
if (!isFinite(codePoint) || codePoint < 0 || codePoint > 0x10FFFF || Math.floor(codePoint) != codePoint)
throw RangeError('Invalid code point: ' + codePoint);
if (codePoint <= 0xFFFF)
codeUnits.Push(codePoint);
else {
codePoint -= 0x10000;
highSurrogate = (codePoint >> 10) | 0xD800;
lowSurrogate = (codePoint % 0x400) | 0xDC00;
codeUnits.Push(highSurrogate, lowSurrogate);
}
if (index + 1 == strBytes.length || codeUnits.length > MAX_SIZE) {
result += String.fromCharCode.apply(null, codeUnits);
codeUnits.length = 0;
}
}
return result;
}
ではごきげんよう ！
Node.jsで動作しているもの> = 0.1.99
Node.jsは、マルチバイトバッファーを文字列にデコードするように特別に設計されたStringDecoderという組み込みモジュールを提供します。
https://nodejs.org/api/string_decoder.html
上記のリンクから：
String_decoderモジュールは、エンコードされたマルチバイトUTF-8およびUTF-16文字を保持する方法で、Bufferオブジェクトを文字列にデコードするAPIを提供します
例（上記のドキュメントから借用）：
const { StringDecoder } = require('string_decoder');
const decoder = new StringDecoder('utf8');
const cent = Buffer.from([0xC2, 0xA2]);
console.log(decoder.write(cent)); // ¢
const euro = Buffer.from([0xE2, 0x82, 0xAC]);
console.log(decoder.write(euro)); // €