web-dev-qa-db-ja.com

Python：フォルダーからいくつかのjsonファイルを読み取る

1つのフォルダーから複数のjsonファイルを読み取る方法を知りたい（ファイル名を指定せずに、それらがjsonファイルであることだけを確認してください）。

また、それらをpandas DataFrameに変えることは可能ですか？

基本的な例を教えてもらえますか？

pythonjsonpandas
20
donpresente

1つのオプションは、ディレクトリ内のすべてのファイルを os.listdir でリストし、「。json」で終わるファイルのみを検索することです。

import os, json
import pandas as pd

path_to_json = 'somedir/'
json_files = [pos_json for pos_json in os.listdir(path_to_json) if pos_json.endswith('.json')]
print(json_files)  # for me this prints ['foo.json']

pandas DataFrame.from_dict を使用して、json（この時点ではpython辞書）をpandasデータフレームに読み込むことができます。

montreal_json = pd.DataFrame.from_dict(many_jsons[0])
print montreal_json['features'][0]['geometry']

プリント：

{u'type': u'Point', u'coordinates': [-73.6051013, 45.5115944]}

この場合、リストにjsonを追加しましたmany_jsons。私のリストの最初のjsonは、実際には geojson であり、モントリオールのいくつかの地理データです。私はすでにコンテンツに精通しているので、モントリオールの経度/緯度を示す「ジオメトリ」を印刷します。

次のコードは、上記のすべてを要約しています。

import os, json
import pandas as pd

# this finds our json files
path_to_json = 'json/'
json_files = [pos_json for pos_json in os.listdir(path_to_json) if pos_json.endswith('.json')]

# here I define my pandas Dataframe with the columns I want to get from the json
jsons_data = pd.DataFrame(columns=['country', 'city', 'long/lat'])

# we need both the json and an index number so use enumerate()
for index, js in enumerate(json_files):
    with open(os.path.join(path_to_json, js)) as json_file:
        json_text = json.load(json_file)

        # here you need to know the layout of your json and each json has to have
        # the same structure (obviously not the structure I have here)
        country = json_text['features'][0]['properties']['country']
        city = json_text['features'][0]['properties']['name']
        lonlat = json_text['features'][0]['geometry']['coordinates']
        # here I Push a list of data into a pandas DataFrame at row given by 'index'
        jsons_data.loc[index] = [country, city, lonlat]

# now that we have the pertinent json data in our DataFrame let's look at it
print(jsons_data)

私にとってこれは印刷されます：

  country           city                   long/lat
0  Canada  Montreal city  [-73.6051013, 45.5115944]
1  Canada        Toronto  [-79.3849008, 43.6529206]

このコードでは、ディレクトリ名「json」に2つのジオジョンがあったことを知っておくと役立つ場合があります。各JSONの構造は次のとおりです。

{"features":
[{"properties":
{"osm_key":"boundary","extent":
[-73.9729016,45.7047897,-73.4734865,45.4100756],
"name":"Montreal city","state":"Quebec","osm_id":1634158,
"osm_type":"R","osm_value":"administrative","country":"Canada"},
"type":"Feature","geometry":
{"type":"Point","coordinates":
[-73.6051013,45.5115944]}}],
"type":"FeatureCollection"}
30
Scott

glob モジュールを使用すると、（フラットな）ディレクトリを簡単に反復できます

from glob import glob

for f_name in glob('foo/*.json'):
    ...

JSONをpandasに直接読み込む方法については、 here を参照してください。

6
Ami Tavory

JSONファイルを読み取るには、

import os
import glob

contents = []
json_dir_name = "/path/to/json/dir"

json_pattern = os.path.join(json_dir_name,'*.json'
file_list = glob.glob(json_pattern)
for file in file_list:
  contents.append(read(file))
1
Saravana Kumar