web-dev-qa-db-ja.com

JSONドキュメントからAVROスキーマを生成する

「典型的な」JSONドキュメントからAVROスキーマを作成できるツールはありますか？.

例えば：

{
"records":[{"name":"X1","age":2},{"name":"X2","age":4}]
}

私は http://jsonschema.net/reboot/#/ 'json-schema'を生成することを発見しました

{
  "$schema": "http://json-schema.org/draft-04/schema#",
  "id": "http://jsonschema.net#",
  "type": "object",
  "required": false,
  "properties": {
    "records": {
      "id": "#records",
      "type": "array",
      "required": false,
      "items": {
        "id": "#1",
        "type": "object",
        "required": false,
        "properties": {
          "name": {
            "id": "#name",
            "type": "string",
            "required": false
          },
          "age": {
            "id": "#age",
            "type": "integer",
            "required": false
          }
        }
      }
    }
  }
}

しかし、[〜＃〜] avro [〜＃〜]バージョンが欲しいのですが。

jsonschemageneratoravro
17
Pierre

これは、Apache Sparkとpythonを使用して簡単に実現できます。まず、sparkディストリビューションを http://spark.Apache.org/downloads）からダウンロードします。 .html 次に、avroパッケージをpython using pipを使用してインストールします。次に、avroパッケージを使用してpysparkを実行します。

./bin/pyspark --packages com.databricks:spark-avro_2.11:3.1.0

次のコードを使用します（input.jsonファイルには1つ以上のjsonドキュメントが含まれ、それぞれが別々の行にあります）：

import os, avro.datafile

spark.read.json('input.json').coalesce(1).write.format("com.databricks.spark.avro").save("output.avro")
avrofile = filter(lambda file: file.startswith('part-r-00000'), os.listdir('output.avro'))[0]

with open('output.avro/' + avrofile) as avrofile:
    reader = avro.datafile.DataFileReader(avrofile, avro.io.DatumReader())
    print(reader.datum_reader.writers_schema)

例：コンテンツを含む入力ファイルの場合：

{'string': 'somestring', 'number': 3.14, 'structure': {'integer': 13}}
{'string': 'somestring2', 'structure': {'integer': 14}}

スクリプトの結果は次のようになります。

{"fields": [{"type": ["double", "null"], "name": "number"}, {"type": ["string", "null"], "name": "string"}, {"type": [{"type": "record", "namespace": "", "name": "structure", "fields": [{"type": ["long", "null"], "name": "integer"}]}, "null"], "name": "structure"}], "type": "record", "name": "topLevelRecord"}
6
Mariusz