web-dev-qa-db-ja.com

Daskを連結する簡単な方法（水平、axis = 1、列）

Action 2つのcsv（data.csvおよびlabel.csv）を単一のデータフレームに読み取ります。

df = dd.read_csv(data_files, delimiter=' ', header=None, names=['x', 'y', 'z', 'intensity', 'r', 'g', 'b'])
df_label = dd.read_csv(label_files, delimiter=' ', header=None, names=['label'])

問題列の連結には既知の分割が必要です。ただし、インデックスを設定するとデータが並べ替えられます。両方のファイルの順序が一致しているため、明示的には不要です。

df = dd.concat([df, df_label], axis=1)
---------------------------------------------------------------------------
ValueError                                Traceback (most recent call last)
<ipython-input-11-e6c2e1bdde55> in <module>()
----> 1 df = dd.concat([df, df_label], axis=1)

/uhome/hemmest/.local/lib/python3.5/site-packages/dask/dataframe/multi.py in concat(dfs, axis, join, interleave_partitions)
    573             return concat_unindexed_dataframes(dfs)
    574         else:
--> 575             raise ValueError('Unable to concatenate DataFrame with unknown '
    576                              'division specifying axis=1')
    577     else:

ValueError: Unable to concatenate DataFrame with unknown division specifying axis=1

試行済み'id'列の追加

df['id'] = pd.Series(range(len(df)))

ただし、Dataframeの長さにより、シリーズはメモリよりも大きくなります。

質問どうやらDaskは両方のデータフレームが同じ長さであることを知っています：

In [15]:
df.index.compute()
Out[15]:
Int64Index([      0,       1,       2,       3,       4,       5,       6,
                  7,       8,       9,
            ...
            1120910, 1120911, 1120912, 1120913, 1120914, 1120915, 1120916,
            1120917, 1120918, 1120919],
           dtype='int64', length=280994776)
In [16]:
df_label.index.compute()
Out[16]:
Int64Index([1, 5, 5, 2, 2, 2, 2, 2, 2, 2,
            ...
            3, 3, 3, 3, 3, 3, 3, 3, 3, 3],
           dtype='int64', length=280994776)

この知識を活用して単純に連結する方法は？

pythonpandasdask
10
Tom Hemmes

解決策（@Primerによるコメントから）：

  • インデックスの再パーティション化とリセットの両方
  • 連結の代わりに割り当てを使用する

最終的なコード。

import os
from pathlib import Path
import dask.dataframe as dd
import numpy as np
import pandas as pd



df = dd.read_csv(['data/untermaederbrunnen_station1_xyz_intensity_rgb.txt'], delimiter=' ', header=None, names=['x', 'y', 'z', 'intensity', 'r', 'g', 'b'])
df_label = dd.read_csv(['data/untermaederbrunnen_station1_xyz_intensity_rgb.labels'], header=None, names=['label'])
# len(df), len(df_label), df_label.label.isnull().sum().compute()

df = df.repartition(npartitions=200)
df = df.reset_index(drop=True)
df_label = df_label.repartition(npartitions=200)
df_label = df_label.reset_index(drop=True)

df = df.assign(label = df_label.label)
df.head()
3
Tom Hemmes

私は同じ問題を抱えており、両方のデータフレームが同じ数のパーティションを持っていることを確認することで解決しました（両方が同じ長さであることはすでにわかっているため）：

df = df.repartition(npartitions=200)
df_label = df_label.repartition(npartitions=200)
df = dd.concat([df, df_label], axis=1)
0
architectonic