Mongodb Mongoimportが大きすぎます：エラーの解析エラー

Question

有効なMongoDB 70 mb jsonファイルにインポートしようとしています。しかし、私はこのエラーを繰り返しループしています：

 01 11:42:20 exception:BSON representation of supplied JSON is too large: Failure parsing JSON string near: "name": "L 01 11:42:20 01 11:42:20 Assertion: 10340:Failure parsing JSON string near: "link": "h 01 11:42:20 mongoimport.exe ??? 01 11:42:20 mongoimport.exe ??? 01 11:42:20 mongoimport.exe ??? 01 11:42:20 mongoimport.exe ??? 01 11:42:20 mongoimport.exe ??? 01 11:42:20 mongoimport.exe ??? 01 11:42:20 mongoimport.exe ??? 01 11:42:20 kernel32.dll BaseThreadInitThunk+0x12 01 11:42:20 ntdll.dll RtlInitializeExceptionChain+0xef 01 11:42:20 exception:BSON representation of supplied JSON is too large: Failure parsing JSON string near: "link": "h 01 11:42:20 01 11:42:20 Assertion: 10340:Failure parsing JSON string near: } 01 11:42:20 mongoimport.exe ??? 01 11:42:20 mongoimport.exe ??? 01 11:42:20 mongoimport.exe ??? 01 11:42:20 mongoimport.exe ??? 01 11:42:20 mongoimport.exe ??? 01 11:42:20 mongoimport.exe ??? 01 11:42:20 mongoimport.exe ??? 01 11:42:20 kernel32.dll BaseThreadInitThunk+0x12 01 11:42:20 ntdll.dll RtlInitializeExceptionChain+0xef 01 11:42:20 exception:BSON representation of supplied JSON is too large: Failure parsing JSON string near: } 01 11:42:20 01 11:42:20 Assertion: 10340:Failure parsing JSON string near: ], 01 11:42:20 mongoimport.exe ??? 01 11:42:20 mongoimport.exe ??? 01 11:42:20 mongoimport.exe ??? 01 11:42:20 mongoimport.exe ??? 01 11:42:20 mongoimport.exe ??? 01 11:42:20 mongoimport.exe ??? 01 11:42:20 mongoimport.exe ??? 01 11:42:20 kernel32.dll BaseThreadInitThunk+0x12 01 11:42:20 ntdll.dll RtlInitializeExceptionChain+0xef 01 11:42:20 exception:BSON representation of supplied JSON is too large: Failure parsing JSON string near: ],

私のJSON（それからのほんの小さな例）は、次のような多くの多くの構造で構成されています。

[ { "data": [ "id": "xxxxxxxxxxxxxxxxxx", "from": { "name": "yyyyyyyyyyy", "id": "1111111111111" }, "to": { "data": [ { "version": 1, "name": "1111111111111", "id": "1111111111111" } ] }, "picture": "fffffffffffffffffffffff.jpg", "link": "http://www.youtube.com/watch?v=qqqqqqqqqqqqq", "source": "http://www.youtube.com/v/qqqqqqqqqqqqq?version=3&autohide=1&autoplay=1", "name": "xxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxx", "description": "xxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxx...", "icon": "http://static.ak.fbcdn.net/rsrc.php/v2/xxx/r/dddd", "actions": [ { "name": "Comment", "link": "http://www.example.com/1111111111111/posts/1111111111111" }, { "name": "Like", "link": "http://www.example.com/1111111111111/posts/1111111111111" } ], "privacy": { "value": "" }, "type": "video", "created_time": 1356953890, "updated_time": 1356953890, "likes": { "data": [ { "name": "jjj ", "id": "59xxx67" }, { "name": "xxxxx", "id": "79xxx27" } ], "count": 2 }, "comments": { "count": 0 } }, .... .... .... } ]

これはjsonの一般的なパターンです： "

[ { "data": [ { } ], "paging": { "previous": "link", "next": "link" } }, "data": [ { } ], "paging": { "previous": "link", "next": "link" } }, "data": [ { } ], "paging": { "previous": "link", "next": "link" } } ]

Rajkumar Singh · Answer

代わりに：

mongoimport -d DATABASE_NAME -c COLLECTION_NAME --file YOUR_JSON_FILE

次のコマンドを使用します。

mongoimport -d DATABASE_NAME -c COLLECTION_NAME --file YOUR_JSON_FILE --jsonArray

HaoQi Li · Answer

私の場合、ファイルが実際には大きすぎなかったため、エラーメッセージは誤解を招くものでした。各ドキュメントを1行に入れるか、--jsonArray。

したがって、次のようにファイルを変更します。

{ "_id" : "xxxxxxxx", "foo" : "yyy", "bar" : "zzz" }

またはインポートコマンドを

mongoimport -d [db_name] -c [col_name] --file [file_with_multi_lined_docs] --jsonArray

ファイルが複数行/ドキュメント形式のままの場合

{ "_id" : "xxxxxxxx", "foo" : "yyy", "bar" : "zzz" }

Chunliang Lyu · Answer

Jsonファイルには、dataフィールドのレコードのリストのみが含まれていますか？その場合、jsonファイルを次のようなレコードのリストとして再フォーマットする必要があります。

 { "id": "xxxxxxxxxxxxxxxxxx", "from": { "name": "yyyyyyyyyyy", "id": "1111111111111" }, "to": { "data": [ { "version": 1, "name": "1111111111111", "id": "1111111111111" } ] }, ...... } { "id": "xxxxxxxxxxxxxxxxxx", "from": { "name": "yyyyyyyyyyy", "id": "1111111111111" }, "to": { "data": [ { "version": 1, "name": "1111111111111", "id": "1111111111111" } ] }, ...... }

Jsonファイルが適切にフォーマットされている場合は、数行の先頭行と末尾行を編集するだけで十分です。

[〜＃〜] edit [〜＃〜]：有効なjsonファイルからインポートするには、--jsonArrayオプションが必要になる場合があります。試す

mongoimport --db DATABASE_NAME --collection COLLECTION_NAME --file YOUR_JSON_FILE --jsonArray

Matt Fletcher · Answer

私の場合、このエラーに直面したとき、問題はローカルマシン（vim内）からリモートサーバー（vim内）にデータをコピーして貼り付けることにあることがわかりました。代わりにscpを実行したところ、奇跡的に機能しました。そのため、特にMacからCentosにコピーしていたため、コピーしたときに何が変更されるのかわからず、行末の問題もありませんでした。

結論：mongoexportが作成するファイルではなく、その内容を使用してください！

mickey · Answer

Mongoのバージョンを確認してください。mongo2.6.1からjsonをエクスポートし、mongo〜2.4にインポートしようとしたときに問題がありました。それよりも高いバージョンをインストールした後、問題なく動作しました...