web-dev-qa-db-ja.com

Pyspark：JSON文字列の列を解析する

jsonと呼ばれる1つの列で構成されるpysparkデータフレームがあり、各行はUnicodeのJSON文字列です。各行を解析し、各行が解析されたJSONである新しいデータフレームを返します。

# Sample Data Frame
jstr1 = u'{"header":{"id":12345,"foo":"bar"},"body":{"id":111000,"name":"foobar","sub_json":{"id":54321,"sub_sub_json":{"col1":20,"col2":"somethong"}}}}'
jstr2 = u'{"header":{"id":12346,"foo":"baz"},"body":{"id":111002,"name":"barfoo","sub_json":{"id":23456,"sub_sub_json":{"col1":30,"col2":"something else"}}}}'
jstr3 = u'{"header":{"id":43256,"foo":"foobaz"},"body":{"id":20192,"name":"bazbar","sub_json":{"id":39283,"sub_sub_json":{"col1":50,"col2":"another thing"}}}}'
df = sql_context.createDataFrame([Row(json=jstr1),Row(json=jstr2),Row(json=jstr3)])

私はjson.loadsで各行をマッピングしようとしました：

(df
  .select('json')
  .rdd
  .map(lambda x: json.loads(x))
  .toDF()
).show()

しかし、これはTypeError: expected string or bufferを返します

問題の一部は、dataframeからrddに変換するときにスキーマ情報が失われることだと思うので、スキーマ情報を手動で入力しようとしました。

schema = StructType([StructField('json', StringType(), True)])
rdd = (df
  .select('json')
  .rdd
  .map(lambda x: json.loads(x))
)
new_df = sql_context.createDataFrame(rdd, schema)
new_df.show()

しかし、同じTypeErrorを取得します。

この回答 を見ると、flatMapを使用して行をフラット化するのが便利なように見えますが、どちらにも成功していません。

schema = StructType([StructField('json', StringType(), True)])
rdd = (df
  .select('json')
  .rdd
  .flatMap(lambda x: x)
  .flatMap(lambda x: json.loads(x))
  .map(lambda x: x.get('body'))
)
new_df = sql_context.createDataFrame(rdd, schema)
new_df.show()

次のエラーが表示されます：AttributeError: 'unicode' object has no attribute 'get'。

pythonjsonapache-sparkpyspark
21
Steve

Json文字列を含むデータフレームを構造化データフレームに変換するのは、実際にはsparkで非常に簡単です。以前にデータフレームを文字列のRDDに変換する場合（ http：// spark.Apache.org/docs/latest/sql-programming-guide.html#json-datasets ）

例えば：

>>> new_df = sql_context.read.json(df.rdd.map(lambda r: r.json))
>>> new_df.printSchema()
root
 |-- body: struct (nullable = true)
 |    |-- id: long (nullable = true)
 |    |-- name: string (nullable = true)
 |    |-- sub_json: struct (nullable = true)
 |    |    |-- id: long (nullable = true)
 |    |    |-- sub_sub_json: struct (nullable = true)
 |    |    |    |-- col1: long (nullable = true)
 |    |    |    |-- col2: string (nullable = true)
 |-- header: struct (nullable = true)
 |    |-- foo: string (nullable = true)
 |    |-- id: long (nullable = true)
23
Mariusz

Spark 2.1 +の場合、 from_json これにより、次のようにデータフレーム内の他の非JSON列を保持できます。

from pyspark.sql.functions import from_json, col
json_schema = spark.read.json(df.rdd.map(lambda row: row.json)).schema
df.withColumn('json', from_json(col('json'), json_schema))

Spark json文字列列のスキーマを導出します。その後、df.json列はもはやStringTypeではありませんが、正しくデコードされたjson構造、つまり、ネストされたStrucTypeおよびdfの他のすべての列はそのまま保持されます。

次のようにしてjsonコンテンツにアクセスできます。

df.select(col('json.header').alias('header'))
27
Martin Tapp

JSONが完全/伝統的にフォーマットされていない場合、既存の回答は機能しません。たとえば、RDDベースのスキーマ推論では、中括弧{}は、たとえば次のようなデータの場合、不正なスキーマを提供します（結果としてnull値になります）。

[
  {
    "a": 1.0,
    "b": 1
  },
  {
    "a": 0.0,
    "b": 2
  }
]

JSONを別のJSONオブジェクトに存在するようにサニタイズすることにより、この問題を回避する関数を作成しました。

def parseJSONCols(df, *cols, sanitize=True):
    """Auto infer the schema of a json column and parse into a struct.

    rdd-based schema inference works if you have well-formatted JSON,
    like ``{"key": "value", ...}``, but breaks if your 'JSON' is just a
    string (``"data"``) or is an array (``[1, 2, 3]``). In those cases you
    can fix everything by wrapping the data in another JSON object
    (``{"key": [1, 2, 3]}``). The ``sanitize`` option (default True)
    automatically performs the wrapping and unwrapping.

    The schema inference is based on this
    `SO Post <https://stackoverflow.com/a/45880574)/>`_.

    Parameters
    ----------
    df : pyspark dataframe
        Dataframe containing the JSON cols.
    *cols : string(s)
        Names of the columns containing JSON.
    sanitize : boolean
        Flag indicating whether you'd like to sanitize your records
        by wrapping and unwrapping them in another JSON object layer.

    Returns
    -------
    pyspark dataframe
        A dataframe with the decoded columns.
    """
    res = df
    for i in cols:

        # sanitize if requested.
        if sanitize:
            res = (
                res.withColumn(
                    i,
                    psf.concat(psf.lit('{"data": '), i, psf.lit('}'))
                )
            )
        # infer schema and apply it
        schema = spark.read.json(res.rdd.map(lambda x: x[i])).schema
        res = res.withColumn(i, psf.from_json(psf.col(i), schema))

        # unpack the wrapped object if needed
        if sanitize:
            res = res.withColumn(i, psf.col(i).data)
    return res

注：psf = pyspark.sql.functions。

8
Nolan Conaway

@ nolan-conawayのparseJSONCols関数の簡潔な（スパークSQL）バージョンを以下に示します。

SELECT 
explode(
    from_json(
        concat('{"data":', 
               '[{"a": 1.0,"b": 1},{"a": 0.0,"b": 2}]', 
               '}'), 
        'data array<struct<a:DOUBLE, b:INT>>'
    ).data) as data;

PS。 explode関数も追加しました：P

いくつかの Hive SQL型 を知っておく必要があります。

0
Buthetleon