Python 2パンダのto_csv(... etc ...)に関する制限事項について読んだことがあります。ヒットしましたか?Python 2.7.3
これにより、≥および-が文字列に表示されるときに、ゴミ文字が判明します。それを除けば、エクスポートは完璧です。
df.to_csv("file.csv", encoding="utf-8")
回避策はありますか?
df.head()は次のとおりです。
demography Adults ≥49 yrs Adults 18−49 yrs at high risk|| \
state
Alabama 32.7 38.6
Alaska 31.2 33.2
Arizona 22.9 38.8
Arkansas 31.2 34.0
California 29.8 38.8
csv出力はこちら
state, Adults ≥49 yrs, Adults 18−49 yrs at high risk||
0, Alabama, 32.7, 38.6
1, Alaska, 31.2, 33.2
2, Arizona, 22.9, 38.8
3, Arkansas,31.2, 34
4, California,29.8, 38.8
コード全体はこれです:
import pandas
import xlrd
import csv
import json
df = pandas.DataFrame()
dy = pandas.DataFrame()
# first merge all this xls together
workbook = xlrd.open_workbook('csv_merger/vaccoverage.xls')
worksheets = workbook.sheet_names()
for i in range(3,len(worksheets)):
dy = pandas.io.Excel.read_Excel(workbook, i, engine='xlrd', index=None)
i = i+1
df = df.append(dy)
df.index.name = "index"
df.columns = ['demography', 'area','state', 'month', 'rate', 'moe']
#Then just grab month = 'May'
may_mask = df['month'] == "May"
may_df = (df[may_mask])
#then delete some columns we dont need
may_df = may_df.drop('area', 1)
may_df = may_df.drop('month', 1)
may_df = may_df.drop('moe', 1)
print may_df.dtypes #uh oh, it sees 'rate' as type 'object', not 'float'. Better change that.
may_df = may_df.convert_objects('rate', convert_numeric=True)
print may_df.dtypes #that's better
res = may_df.pivot_table('rate', 'state', 'demography')
print res.head()
#and this is going to spit out an array of Objects, each Object a state containing its demographics
res.reset_index().to_json("thejson.json", orient='records')
#and a .csv for good measure
res.reset_index().to_csv("thecsv.csv", orient='records', encoding="utf-8")
「悪い」出力は、CP1252として表示されるUTF-8です。
Windowsでは、ファイルの先頭にバイトオーダーマーク(BOM)文字がない場合、多くのエディターはUTF-8ではなくデフォルトのANSIエンコード(US WindowsではCP1252)を想定しています。 BOMはUTF-8エンコードには意味がありませんが、UTF-8エンコードされた存在は一部のプログラムの署名として機能します。たとえば、Microsoft OfficeのExcelでは、Windows以外のOSでも必要です。試してください:
df.to_csv('file.csv',encoding='utf-8-sig')
そのエンコーダーはBOMを追加します。