web-dev-qa-db-ja.com

有効なJSONをCSVに変換する方法は？

JSONファイルから情報を抽出し、その内容の一部をCSVファイルに書き込もうとしています。

これが私のテキストの例です

"data":{"headers":{"sender":"[email protected]"
"to":"[email protected]"
"subject":"Help with this project"
"x-received-time":"14144273245408"
"received":"from abc.com ()\r\n        by mail.mail.com with SMTP (Postfix)\r\n        for [email protected];\r\n        Mon
"from":"\"Help with this project\" <[email protected]>"
"date":"Mon, 27 Oct 2014 09:03:14 -0500"
"id":"1414427328-2345855-frank"
"to":"[email protected]"
"time":14144273245408
"subject":"Help with this project"
"fromfull":"[email protected]"

To、fromfull、id、subject、dateの内容を取得し、Toが列A、fromfullが列BなどのCSVファイルに書き込みます。

誰でも支援を提供できますか？これはJSONレスポンスです。

command-linetext-processingcsv
6
BeMy Friend

次のPerlコマンドを使用して、CSV出力を作成し、ターミナルを開いて入力できます。

Perl -n0e '@a= $_ =~ /"date":(".*?").*?"id":(".*?").*?"to":"(.*?)".*?".*?"subject":(".*?").*?"fromfull":"(.*?)"/gs;  while (my @next_n = splice @a, 0, 5) { print join(q{,}, @next_n)."\n"}' inputfile.txt

入力ファイルに複数のヘッダーがある場合でも機能します。

最後の "to"：フィールドのみが考慮されることに注意してください（ヘッダーが情報を2回提供するようです）

コマンド出力：

"Mon, 27 Oct 2014 09:03:14 -0500","1414427328-2345855-frank",[email protected],"Help with this project",[email protected]
8
Sylvain Pineau

jq を使用すると、このJSONを1行でCSVに変換できます。

jq '.data.headers | [.sender, .to, .subject, ."x-received-time", 
.received, .from, .date, .id, .to, .subject, .fromfull] 
+ [(.time | tostring)] | join(", ")'

壊す：

  • .data.headers-ヘッダーをオブジェクトとして発行する
    • データにヘッダーの配列が含まれる場合、.data[].headersになります
  • […string keys list…]-文字列値を配列として発行します
  • + [(.time | tostring)]-時間を文字列として出力し、配列に追加します
  • join(", ")-コンマとスペースを使用して配列値を結合します
    • ここでお気に入りの区切り文字を置き換えてください
9
Joe Harris

JSONファイルで作業しているので、そのように解析してみませんか？ nodejs-legacyをインストールし、次のようなNodeJSスクリプトを作成します。

#!/usr/bin/env node
// parseline.js process lines one by one
'use strict';
var readline = require('readline');
var rl = readline.createInterface({
  input: process.stdin,
  output: process.stdout,
  terminal: false
});

rl.on('line', function(line){
    var obj = JSON.parse(line);
    // add the fields which you want to extract here:
    var fields = [
        obj.data.headers.to,
        obj.data.headers.subject,
        // etc.
    ];
    // print the fields, joined by a comma (CSV, duh.)
    // No escaping is done, so if the subject contains ',',
    // then you need additional post-processing.
    console.log(fields.join(','));
});

ファイルの各行に有効なJSON文字列があると仮定します。

node parseline.js < some.txt

または、単一のファイルを読み取り、そこからフィールドを解析したい場合：

#!/usr/bin/env node
// parsefile.js - fully read file and parse some data out of it
'use strict';
var filename = process.argv[1]; // first argument
var fs = require('fs');
var text = fs.readFileSync(filename).toString();
var obj = JSON.parse(text);
// add the fields which you want to extract here:
var fields = [
    obj.data.headers.to,
    obj.data.headers.subject,
    // etc.
];
// print the fields, joined by a comma (CSV, duh.)
// No escaping is done, so if the subject contains ',',
// then you need additional post-processing.
console.log(fields.join(','));

次に、それを実行します：

node parsefile.js yourfile.json > yourfile.csv
6
Lekensteyn

Jsonv GitHubから を使用できます

そして、次のコマンド：

cat YOUR_JSON_FILEname | jsonv to,fromfull,id,subject,date > output.csv
1
Edward Moffett

awk の実装です：

   awk -F ":" '{gsub("\"","",$1);key=$1;sub(key " ","");gsub("\\","",$0);value[key]=$0; if ("fromfull"== key) print value["from"] ";" value["to"] ";" value["fromfull"] ";" value["id"] ";" value["subject"] ";" value["date"] ;}' jsonFile > csvFile

このスクリプトは、print csv行よりも「fromfull」行が見つかるまで行を読み取るため、複数のシーケンスでも機能するはずです。

これが結果です：

  ""Help with this project" <[email protected]>";"[email protected]";"[email protected]";"1414427328-2345855-frank";"Help with this project";"Mon, 27 Oct 2014 09 03 14 -0500"
1
Lety

ここに、あなたのためにホイップしたgawkスクリプトを示します！

#!/usr/bin/gawk -f
BEGIN {
  FS="\""
  output=""
  nodata=1
}

/^"data"/{
  if( ! nodata )
  {
    gsub("|$","",output)
    print output
    nodata=0
  }
  output=""
}

/^"[^d][^a][^t][^a]/{
  if ( $2 == "to" || $2 == "fromfull" || $2 == "id" || $2 == "subject" || $2 == "date" )
    output=output$4"|"
}

END{
  gsub("|$","",output)
  print output
}

多数の同様のエントリを持つファイルで動作するはずです。リストに他のアイテムを追加する場合は、ifステートメントに追加するだけです。ただし、データセットに1つの問題が見つかりました。日付です。コンマが含まれているため、真のCSVにすることはできません。代わりに、別のキャラクターでそれを分離しました。

1
Chuck R