Nodejsで大きなJSONファイルを解析する
多くのJavaScriptオブジェクトをJSON形式で保存するファイルがあり、そのファイルを読み取って、各オブジェクトを作成し、それらを使用して処理する必要があります（私の場合はdbに挿入します）。 JavaScriptオブジェクトは形式で表すことができます。
フォーマットA：
[{name: 'thing1'},
....
{name: 'thing999999999'}]
またはフォーマットB：
{name: 'thing1'} // <== My choice.
...
{name: 'thing999999999'}
...は多くのJSONオブジェクトを示していることに注意してください。ファイル全体をメモリに読み込み、JSON.parse()を次のように使用できることを認識しています。
fs.readFile(filePath, 'utf-8', function (err, fileContents) {
if (err) throw err;
console.log(JSON.parse(fileContents));
});
ただし、ファイルは非常に大きくなる可能性があるため、ストリームを使用してこれを実現することをお勧めします。ストリームで見られる問題は、ファイルの内容がいつでもデータチャンクに分割される可能性があるということです。そのようなオブジェクトでJSON.parse()を使用するにはどうすればよいですか。
理想的には、各オブジェクトは個別のデータチャンクとして読み取られますが、その方法は不明です方法。
var importStream = fs.createReadStream(filePath, {flags: 'r', encoding: 'utf-8'});
importStream.on('data', function(chunk) {
var pleaseBeAJSObject = JSON.parse(chunk);
// insert pleaseBeAJSObject in a database
});
importStream.on('end', function(item) {
console.log("Woot, imported objects into the database!");
});*/
ファイル全体をメモリに読み込まないようにしたいことに注意してください。時間の効率は私には関係ありません。はい、一度にいくつかのオブジェクトを読み取って一度にすべて挿入しようとすることができますが、それはパフォーマンスの調整です-ファイルに含まれるオブジェクトの数に関係なく、メモリの過負荷を引き起こさないことが保証される方法が必要です。
FormatAまたはFormatBまたは他の何かを使用することを選択できます。答えに明記してください。ありがとう！
ファイルを1行ずつ処理するには、ファイルの読み取りと、その入力に作用するコードを分離するだけです。これは、改行に達するまで入力をバッファリングすることで実現できます。 1行に1つのJSONオブジェクトがあると仮定します（基本的にはフォーマットB）：
var stream = fs.createReadStream(filePath, {flags: 'r', encoding: 'utf-8'});
var buf = '';
stream.on('data', function(d) {
buf += d.toString(); // when data is read, stash it in a string buffer
pump(); // then process the buffer
});
function pump() {
var pos;
while ((pos = buf.indexOf('\n')) >= 0) { // keep going while there's a newline somewhere in the buffer
if (pos == 0) { // if there's more than one newline in a row, the buffer will now start with a newline
buf = buf.slice(1); // discard it
continue; // so that the next iteration will start with data
}
processLine(buf.slice(0,pos)); // hand off the line
buf = buf.slice(pos+1); // and slice the processed data off the buffer
}
}
function processLine(line) { // here's where we do something with a line
if (line[line.length-1] == '\r') line=line.substr(0,line.length-1); // discard CR (0x0D)
if (line.length > 0) { // ignore empty lines
var obj = JSON.parse(line); // parse the JSON
console.log(obj); // do something with the data here!
}
}
ファイルストリームがファイルシステムからデータを受信するたびに、バッファに格納され、pumpが呼び出されます。
バッファーに改行がない場合、pumpは何もせずに単に戻ります。ストリームが次にデータを取得するときに、より多くのデータ（および場合によっては改行）がバッファーに追加され、完全なオブジェクトが作成されます。
改行がある場合、pumpはバッファの先頭から改行までスライスし、processに渡します。次に、バッファ内に別の改行があるかどうかを再度チェックします（whileループ）。このようにして、現在のチャンクで読み取られたすべての行を処理できます。
最後に、processは入力行ごとに1回呼び出されます。存在する場合は、キャリッジリターン文字を取り除き（行末の問題を回避するためにLF vs CRLF）、その後1行でJSON.parseを呼び出します。この時点で、オブジェクトに対して必要なことは何でもできます。
JSON.parseは、入力として受け入れるものについて厳密であることに注意してください。識別子と文字列値を引用符で囲む必要があります二重引用符付き。つまり、{name:'thing1'}はエラーをスローします。 {"name":"thing1"}を使用する必要があります。
一度にメモリに格納されるのはデータのチャンクだけなので、これは非常に効率的なメモリになります。また、非常に高速です。簡単なテストでは、15ms未満で10,000行を処理しました。
ストリーミングJSONパーサーを作成するのは楽しいだろうと考えていたのと同じように、すでに利用可能なものがあるかどうかを確認するためにクイック検索を実行する必要があると考えました。
あることが判明。
- JSONStream "ストリーミングJSON.parseおよびstringify"
私はそれを見つけたので、明らかにそれを使用していません。そのため、その品質についてコメントすることはできませんが、動作するかどうか聞きたいです。
次のCoffeeScriptを考慮して動作します：
stream.pipe(JSONStream.parse('*'))
.on 'data', (d) ->
console.log typeof d
console.log "isString: #{_.isString d}"
これは、ストリームがオブジェクトの配列である場合、オブジェクトが入ってくるとログに記録します。したがって、バッファリングされるのは一度に1つのオブジェクトのみです。
2014年10月現在、次のようなことができます（JSONStreamを使用）- https://www.npmjs.org/ package/JSONStream
var fs = require('fs'),
JSONStream = require('JSONStream'),
var getStream() = function () {
var jsonData = 'myData.json',
stream = fs.createReadStream(jsonData, {encoding: 'utf8'}),
parser = JSONStream.parse('*');
return stream.pipe(parser);
}
getStream().pipe(MyTransformToDoWhateverProcessingAsNeeded).on('error', function (err){
// handle any errors
});
実用的な例でデモンストレーションするには：
npm install JSONStream event-stream
data.json：
{
"greeting": "hello world"
}
hello.js：
var fs = require('fs'),
JSONStream = require('JSONStream'),
es = require('event-stream');
var getStream = function () {
var jsonData = 'data.json',
stream = fs.createReadStream(jsonData, {encoding: 'utf8'}),
parser = JSONStream.parse('*');
return stream.pipe(parser);
};
getStream()
.pipe(es.mapSync(function (data) {
console.log(data);
}));
$ node hello.js
// hello world
可能であれば、JSONファイル全体をメモリに読み込むことを避けたいと思いますが、メモリが使用可能であれば、パフォーマンス面で悪い考えではないかもしれません。 jsonファイルでnode.jsのrequire（）を使用すると、データが非常に高速にメモリにロードされます。
81MBのgeojsonファイルから各機能の属性を出力する際のパフォーマンスを確認するために、2つのテストを実行しました。
最初のテストでは、var data = require('./geo.json')を使用してgeojsonファイル全体をメモリに読み込みました。これには3330ミリ秒かかり、各機能から属性を出力するには804ミリ秒かかり、合計で4134ミリ秒でした。ただし、node.jsは411MBのメモリを使用しているようです。
2番目のテストでは、@ arcseldonの回答とJSONStream + event-streamを使用しました。 JSONPathクエリを変更して、必要なものだけを選択しました。今回はメモリが82MBを超えることはありませんでしたが、完了までに70秒かかりました。
同様の要件がありました。ノードjsで大きなjsonファイルを読み取り、チャンクでデータを処理し、apiを呼び出してmongodbで保存する必要があります。 inputFile.jsonは次のようなものです。
{
"customers":[
{ /*customer data*/},
{ /*customer data*/},
{ /*customer data*/}....
]
}
今、私はこれを同期的に達成するためにJsonStreamとEventStreamを使用しました。
var JSONStream = require("JSONStream");
var es = require("event-stream");
fileStream = fs.createReadStream(filePath, { encoding: "utf8" });
fileStream.pipe(JSONStream.parse("customers.*")).pipe(
es.through(function(data) {
console.log("printing one customer object read from file ::");
console.log(data);
this.pause();
processOneCustomer(data, this);
return data;
}),
function end() {
console.log("stream reading ended");
this.emit("end");
}
);
function processOneCustomer(data, es) {
DataModel.save(function(err, dataModel) {
es.resume();
});
}
BFJ と呼ばれる、これを実行できるモジュールを作成しました。具体的には、メソッドbfj.matchを使用して、大きなストリームをJSONの個別のチャンクに分割できます。
const bfj = require('bfj');
const fs = require('fs');
const stream = fs.createReadStream(filePath);
bfj.match(stream, (key, value, depth) => depth === 0, { ndjson: true })
.on('data', object => {
// do whatever you need to do with object
})
.on('dataError', error => {
// a syntax error was found in the JSON
})
.on('error', error => {
// some kind of operational error occurred
})
.on('end', error => {
// finished processing the stream
});
ここで、bfj.matchは、解析されたデータ項目を受け取る読み取り可能なオブジェクトモードストリームを返し、3つの引数が渡されます。
入力JSONを含む読み取り可能なストリーム。
解析されたJSONのどのアイテムが結果ストリームにプッシュされるかを示す述語。
入力が改行区切りのJSONであることを示すオプションオブジェクト（これは質問から形式Bを処理するためのものであり、形式Aには必要ありません）。
呼び出されると、bfj.matchは入力ストリームからJSONを深さ優先で解析し、各値で述語を呼び出して、そのアイテムを結果ストリームにプッシュするかどうかを決定します。述部には3つの引数が渡されます。
プロパティキーまたは配列インデックス（トップレベルのアイテムの場合、これは
undefinedになります）。値自体。
JSON構造内のアイテムの深さ（最上位アイテムの場合はゼロ）。
もちろん、必要に応じて、より複雑な述語を必要に応じて使用することもできます。プロパティキーに対して単純な一致を実行する場合は、述語関数の代わりに文字列または正規表現を渡すこともできます。
split npm module を使用してこの問題を解決しました。ストリームをスプリットにパイプすると、「ストリームを分割し、各行がチャンクになるように再構成します」。
サンプルコード：
var fs = require('fs')
, split = require('split')
;
var stream = fs.createReadStream(filePath, {flags: 'r', encoding: 'utf-8'});
var lineStream = stream.pipe(split());
linestream.on('data', function(chunk) {
var json = JSON.parse(chunk);
// ...
});
入力ファイルを制御でき、それがオブジェクトの配列である場合、これをより簡単に解決できます。次のように、各レコードが1行でファイルを出力するように調整します。
[
{"key": value},
{"key": value},
...
これはまだ有効なJSONです。
次に、node.js readlineモジュールを使用して、一度に1行ずつ処理します。
var fs = require("fs");
var lineReader = require('readline').createInterface({
input: fs.createReadStream("input.txt")
});
lineReader.on('line', function (line) {
line = line.trim();
if (line.charAt(line.length-1) === ',') {
line = line.substr(0, line.length-1);
}
if (line.charAt(0) === '{') {
processRecord(JSON.parse(line));
}
});
function processRecord(record) {
// Process the records one at a time here!
}
データベースを使用する必要があると思います。 MongoDBはJSON互換であるため、この場合に適しています。
UPDATE： mongoimport ツールを使用して、JSONデータをMongoDBにインポートできます。
mongoimport --collection collection --file collection.json