web-dev-qa-db-ja.com

パンダで6 GBのcsvファイルを読む方法

私はパンダで大きいcsvファイル（およそ6 GB）を読み込もうとしています、そして、私は以下のメモリエラーを得ています：

MemoryError                               Traceback (most recent call last)
<ipython-input-58-67a72687871b> in <module>()
----> 1 data=pd.read_csv('aphro.csv',sep=';')

C:\Python27\lib\site-packages\pandas\io\parsers.pyc in parser_f(filepath_or_buffer, sep, dialect, compression, doublequote, escapechar, quotechar, quoting, skipinitialspace, lineterminator, header, index_col, names, prefix, skiprows, skipfooter, skip_footer, na_values, na_fvalues, true_values, false_values, delimiter, converters, dtype, usecols, engine, delim_whitespace, as_recarray, na_filter, compact_ints, use_unsigned, low_memory, buffer_lines, warn_bad_lines, error_bad_lines, keep_default_na, thousands, comment, decimal, parse_dates, keep_date_col, dayfirst, date_parser, memory_map, nrows, iterator, chunksize, verbose, encoding, squeeze, mangle_dupe_cols, tupleize_cols, infer_datetime_format)
    450                     infer_datetime_format=infer_datetime_format)
    451 
--> 452         return _read(filepath_or_buffer, kwds)
    453 
    454     parser_f.__= name

C:\Python27\lib\site-packages\pandas\io\parsers.pyc in _read(filepath_or_buffer, kwds)
    242         return parser
    243 
--> 244     return parser.read()
    245 
    246 _parser_defaults = {

C:\Python27\lib\site-packages\pandas\io\parsers.pyc in read(self, nrows)
    693                 raise ValueError('skip_footer not supported for iteration')
    694 
--> 695         ret = self._engine.read(nrows)
    696 
    697         if self.options.get('as_recarray'):

C:\Python27\lib\site-packages\pandas\io\parsers.pyc in read(self, nrows)
   1137 
   1138         try:
-> 1139             data = self._reader.read(nrows)
   1140         except StopIteration:
   1141             if nrows is None:

C:\Python27\lib\site-packages\pandas\parser.pyd in pandas.parser.TextReader.read (pandas\parser.c:7145)()

C:\Python27\lib\site-packages\pandas\parser.pyd in pandas.parser.TextReader._read_low_memory (pandas\parser.c:7369)()

C:\Python27\lib\site-packages\pandas\parser.pyd in pandas.parser.TextReader._read_rows (pandas\parser.c:8194)()

C:\Python27\lib\site-packages\pandas\parser.pyd in pandas.parser.TextReader._convert_column_data (pandas\parser.c:9402)()

C:\Python27\lib\site-packages\pandas\parser.pyd in pandas.parser.TextReader._convert_tokens (pandas\parser.c:10057)()

C:\Python27\lib\site-packages\pandas\parser.pyd in pandas.parser.TextReader._convert_with_dtype (pandas\parser.c:10361)()

C:\Python27\lib\site-packages\pandas\parser.pyd in pandas.parser._try_int64 (pandas\parser.c:17806)()

MemoryError:

これで何か助け？

pythonpandascsvmemorychunks
140
Rajkumar Kumawat

このエラーは、CSV全体を一度にDataFrameに読み込むのに十分なメモリがマシンにないことを示しています。データセット全体を一度にメモリに保存する必要がないと仮定すると、問題を回避する1つの方法は、 CSVをまとまりとして 処理することです（ chunksizeパラメータ）

chunksize = 10 ** 6
for chunk in pd.read_csv(filename, chunksize=chunksize):
    process(chunk)

chucksizeパラメーターは、チャンクごとの行数を指定します。 （もちろん、最後のチャンクはchunksize行より少なくても構いません。）

186
unutbu

チャンキングが常にこの問題に対する最初の呼びかけであるべきではありません。

1。ファイルは、非数値データまたは不要な列の繰り返しが原因で大きいですか？

もしそうなら、あなたは時々 カテゴリとして列を読み込む そして pd.read_csvusecolsパラメータを介して必要な列を選択することによって大規模なメモリ節約を見ることができます。

2。ワークフローにスライス、操作、エクスポートが必要ですか？

そうであれば、スライスするために dask.dataframe を使用して計算を実行し、繰り返しエクスポートすることができます。チャンキングはdaskによって黙って実行されます。これはパンダAPIのサブセットもサポートします。

3。他のすべてが失敗した場合は、チャンクを介して1行ずつ読みます。

チャンク パンダ経由 または csvライブラリ経由 最後の手段として。

51
jpp

私はこのように進めました：

chunks=pd.read_table('aphro.csv',chunksize=1000000,sep=';',\
       names=['lat','long','rf','date','slno'],index_col='slno',\
       header=None,parse_dates=['date'])

df=pd.DataFrame()
%time df=pd.concat(chunk.groupby(['lat','long',chunk['date'].map(lambda x: x.year)])['rf'].agg(['sum']) for chunk in chunks)
31
Rajkumar Kumawat

大きなデータの場合は、ライブラリ "dask"を使用することをお勧めします。
例えば：

# Dataframes implement the Pandas API
import dask.dataframe as dd
df = dd.read_csv('s3://.../2018-*-*.csv')
24
Simbarashe Timothy Motsi

上記の答えはすでにトピックを満たしています。とにかく、メモリ内のすべてのデータが必要な場合 - bcolz をご覧ください。そのメモリ内のデータを圧縮します。私は本当に良い経験をしました。しかし、たくさんのパンダ機能が欠けています

編集：私は、データの種類にもよりますが、1/10前後の圧縮率を得ています。欠けている重要な機能は集約でした。

9
PlagTag

データをチャンクとして読み込み、各チャンクをpickleとして保存できます。

import pandas as pd 
import pickle

in_path = "" #Path where the large file is
out_path = "" #Path to save the pickle files to
chunk_size = 400000 #size of chunks relies on your available memory
separator = "~"

reader = pd.read_csv(in_path,sep=separator,chunksize=chunk_size, 
                    low_memory=False)    


for i, chunk in enumerate(reader):
    out_file = out_path + "/data_{}.pkl".format(i+1)
    with open(out_file, "wb") as f:
        pickle.dump(chunk,f,pickle.HIGHEST_PROTOCOL)

次のステップでは、ピクルスを読み込み、各ピクルスを希望のデータフレームに追加します。

import glob
pickle_path = "" #Same Path as out_path i.e. where the pickle files are

data_p_files=[]
for name in glob.glob(pickle_path + "/data_*.pkl"):
   data_p_files.append(name)


df = pd.DataFrame([])
for i in range(len(data_p_files)):
    df = df.append(pd.read_pickle(data_p_files[i]),ignore_index=True)
5
Humpe

解決策1：

大きなデータでパンダを使う

解決策2：

TextFileReader = pd.read_csv(path, chunksize=1000)  # the number of rows per chunk

dfList = []
for df in TextFileReader:
    dfList.append(df)

df = pd.concat(dfList,sort=False)
4
blacksheep

関数read_csvとread_tableはほとんど同じです。ただし、プログラムで関数read_tableを使用するときは、区切り文字“、”を割り当てる必要があります。

def get_from_action_data(fname, chunk_size=100000):
    reader = pd.read_csv(fname, header=0, iterator=True)
    chunks = []
    loop = True
    while loop:
        try:
            chunk = reader.get_chunk(chunk_size)[["user_id", "type"]]
            chunks.append(chunk)
        except StopIteration:
            loop = False
            print("Iteration is stopped")

    df_ac = pd.concat(chunks, ignore_index=True)
3
Tyrion W

あなたはsframeを試すことができます、それはパンダと同じ構文を持っていますが、あなたはあなたのRAMより大きいファイルを操作することを可能にします。

2
NunodeSousa

例を示します。

chunkTemp = []
queryTemp = []
query = pd.DataFrame()

for chunk in pd.read_csv(file, header=0, chunksize=<your_chunksize>, iterator=True, low_memory=False):

    #REPLACING BLANK SPACES AT COLUMNS' NAMES FOR SQL OPTIMIZATION
    chunk = chunk.rename(columns = {c: c.replace(' ', '') for c in chunk.columns})

    #YOU CAN EITHER: 
    #1)BUFFER THE CHUNKS IN ORDER TO LOAD YOUR WHOLE DATASET 
    chunkTemp.append(chunk)

    #2)DO YOUR PROCESSING OVER A CHUNK AND STORE THE RESULT OF IT
    query = chunk[chunk[<column_name>].str.startswith(<some_pattern>)]   
    #BUFFERING PROCESSED DATA
    queryTemp.append(query)

#!  NEVER DO pd.concat OR pd.DataFrame() INSIDE A LOOP
print("Database: CONCATENATING CHUNKS INTO A SINGLE DATAFRAME")
chunk = pd.concat(chunkTemp)
print("Database: LOADED")

#CONCATENATING PROCESSED DATA
query = pd.concat(queryTemp)
print(query)
1
jonathask

あなたがパンダを使って大きなファイルをチャンクに読み込んで、それから行ごとに生成するのであれば、これが私がしたことです

import pandas as pd

def chunck_generator(filename, header=False,chunk_size = 10 ** 5):
   for chunk in pd.read_csv(filename,delimiter=',', iterator=True, chunksize=chunk_size, parse_dates=[1] ): 
        yield (chunk)

def _generator( filename, header=False,chunk_size = 10 ** 5):
    chunk = chunck_generator(filename, header=False,chunk_size = 10 ** 5)
    for row in chunk:
        yield row

if __== "__main__":
filename = r'file.csv'
        generator = generator(filename=filename)
        while True:
           print(next(generator))
1
paulg

上記の答えに加えて、CSVを処理してからcsv、寄木細工またはSQLにエクスポートしたい人のために、 d6tstack は別の良いオプションです。複数のファイルをロードすることができ、それはデータスキーマの変更（追加/削除された列）を扱います。コアサポートの塊はすでに組み込まれています。

def apply(dfg):
    # do stuff
    return dfg

c = d6tstack.combine_csv.CombinerCSV([bigfile.csv], apply_after_read=apply, sep=',', chunksize=1e6)

# or
c = d6tstack.combine_csv.CombinerCSV(glob.glob('*.csv'), apply_after_read=apply, chunksize=1e6)

# output to various formats, automatically chunked to reduce memory consumption
c.to_csv_combine(filename='out.csv')
c.to_parquet_combine(filename='out.pq')
c.to_psql_combine('postgresql+psycopg2://usr:pwd@localhost/db', 'tablename') # fast for postgres
c.to_mysql_combine('mysql+mysqlconnector://usr:pwd@localhost/db', 'tablename') # fast for mysql
c.to_sql_combine('postgresql+psycopg2://usr:pwd@localhost/db', 'tablename') # slow but flexible
0
citynorman

誰かがまだこのようなものを探しているのであれば、私は modin と呼ばれるこの新しいライブラリが助けになることを発見しました。それは読書に役立つことができる分散コンピューティングを使います。これは、機能性をパンダと比較したNice の記事 です。それは本質的にパンダと同じ機能を使用します。

import modin.pandas as pd
pd.read_csv(CSV_FILE_NAME)
0
Jaskaran