パンダデータフレームをNumPy配列に変換
私はパンダデータフレームをNumPy配列に変換する方法を知ることに興味があります。
データフレーム：
import numpy as np
import pandas as pd
index = [1, 2, 3, 4, 5, 6, 7]
a = [np.nan, np.nan, np.nan, 0.1, 0.1, 0.1, 0.1]
b = [0.2, np.nan, 0.2, 0.2, 0.2, np.nan, np.nan]
c = [np.nan, 0.5, 0.5, np.nan, 0.5, 0.5, np.nan]
df = pd.DataFrame({'A': a, 'B': b, 'C': c}, index=index)
df = df.rename_axis('ID')
与える
label A B C
ID
1 NaN 0.2 NaN
2 NaN NaN 0.5
3 NaN 0.2 0.5
4 0.1 0.2 NaN
5 0.1 0.2 0.5
6 0.1 NaN 0.5
7 0.1 NaN NaN
私はこれをNumPy配列に変換したいと思います。
array([[ nan, 0.2, nan],
[ nan, nan, 0.5],
[ nan, 0.2, 0.5],
[ 0.1, 0.2, nan],
[ 0.1, 0.2, 0.5],
[ 0.1, nan, 0.5],
[ 0.1, nan, nan]])
これどうやってするの？
ボーナスとして、このようにdtypesを保存することは可能ですか？
array([[ 1, nan, 0.2, nan],
[ 2, nan, nan, 0.5],
[ 3, nan, 0.2, 0.5],
[ 4, 0.1, 0.2, nan],
[ 5, 0.1, 0.2, 0.5],
[ 6, 0.1, nan, 0.5],
[ 7, 0.1, nan, nan]],
dtype=[('ID', '<i4'), ('A', '<f8'), ('B', '<f8'), ('B', '<f8')])
または類似。
これを達成する方法について何か提案はありますか？
パンダデータフレーム（df）をでたらめなndarrayに変換するには、次のコードを使います。
df.values
array([[nan, 0.2, nan],
[nan, nan, 0.5],
[nan, 0.2, 0.5],
[0.1, 0.2, nan],
[0.1, 0.2, 0.5],
[0.1, nan, 0.5],
[0.1, nan, nan]])
注 ：この回答で使用されている.as_matrix()メソッドは推奨されていません。 Pandas 0.23.4が警告：
メソッド
.as_matrixは将来のバージョンで削除される予定です。代わりに.valuesを使用してください。
Pandasには何かが組み込まれています...
numpy_matrix = df.as_matrix()
与える
array([[nan, 0.2, nan],
[nan, nan, 0.5],
[nan, 0.2, 0.5],
[0.1, 0.2, nan],
[0.1, 0.2, 0.5],
[0.1, nan, 0.5],
[0.1, nan, nan]])
インデックスを含め、データフレームのNumpy表現を取得するために、 DataFrame.reset_index（） および DataFrame.values 関数をチェーンするだけです。
In [8]: df
Out[8]:
A B C
0 -0.982726 0.150726 0.691625
1 0.617297 -0.471879 0.505547
2 0.417123 -1.356803 -1.013499
3 -0.166363 -0.957758 1.178659
4 -0.164103 0.074516 -0.674325
5 -0.340169 -0.293698 1.231791
6 -1.062825 0.556273 1.508058
7 0.959610 0.247539 0.091333
[8 rows x 3 columns]
In [9]: df.reset_index().values
Out[9]:
array([[ 0. , -0.98272574, 0.150726 , 0.69162512],
[ 1. , 0.61729734, -0.47187926, 0.50554728],
[ 2. , 0.4171228 , -1.35680324, -1.01349922],
[ 3. , -0.16636303, -0.95775849, 1.17865945],
[ 4. , -0.16410334, 0.0745164 , -0.67432474],
[ 5. , -0.34016865, -0.29369841, 1.23179064],
[ 6. , -1.06282542, 0.55627285, 1.50805754],
[ 7. , 0.95961001, 0.24753911, 0.09133339]])
Dtypeを取得するには、 view を使用してこのndarrayを構造化配列に変換する必要があります。
In [10]: df.reset_index().values.ravel().view(dtype=[('index', int), ('A', float), ('B', float), ('C', float)])
Out[10]:
array([( 0, -0.98272574, 0.150726 , 0.69162512),
( 1, 0.61729734, -0.47187926, 0.50554728),
( 2, 0.4171228 , -1.35680324, -1.01349922),
( 3, -0.16636303, -0.95775849, 1.17865945),
( 4, -0.16410334, 0.0745164 , -0.67432474),
( 5, -0.34016865, -0.29369841, 1.23179064),
( 6, -1.06282542, 0.55627285, 1.50805754),
( 7, 0.95961001, 0.24753911, 0.09133339),
dtype=[('index', '<i8'), ('A', '<f8'), ('B', '<f8'), ('C', '<f8')])
valuesname__およびas_matrix()の使用をお勧めしません。
V0.24.0から、パンダオブジェクトからNumPy配列を取得するための2つのブランドスパンキング新しい、好ましい方法が紹介されました。
Indexname__、Series,およびDataFramename__オブジェクトで定義されているto_numpy()arrayNAME_。Indexname__およびSeriesname__オブジェクトに対してのみ定義されています。
.values のv0.24のドキュメントにアクセスすると、大きな赤い警告が表示されます。
警告：代わりに
DataFrame.to_numpy()を使うことを勧めます。
v0.24.0リリースノートのこのセクション 、および この回答 を参照してください。
よりよい一貫性のために： to_numpy()
API全体の一貫性を向上させるために、DataFrameから基になるNumPy配列を抽出するための新しいメソッドto_numpyが導入されました。
# Setup.
df = pd.DataFrame({'A': [1, 2, 3], 'B': [4, 5, 6]}, index=['a', 'b', 'c'])
df
A B
a 1 4
b 2 5
c 3 6
df.to_numpy()
array([[1, 4],
[2, 5],
[3, 6]])
前述のように、このメソッドはIndexname__およびSeriesname__オブジェクトにも定義されています（ here を参照）。
df.index.to_numpy()
# array(['a', 'b', 'c'], dtype=object)
df['A'].to_numpy()
# array([1, 2, 3])
デフォルトではビューが返されるので、加えられた変更は元のものに影響します。
v = df.to_numpy()
v[0, 0] = -1
df
A B
a -1 4
b 2 5
c 3 6
代わりにコピーが必要な場合は、to_numpy(copy=Trueを使用してください。
v = df.to_numpy(copy=True)
v[0, 0] = -123
df
A B
a 1 4
b 2 5
c 3 6
dtypesnameを保持する必要がある場合は__...
別の回答に示されているように、 DataFrame.to_records はこれを実行するための良い方法です。
df.to_records()
# rec.array([('a', -1, 4), ('b', 2, 5), ('c', 3, 6)],
# dtype=[('index', 'O'), ('A', '<i8'), ('B', '<i8')])
残念ながら、これはto_numpyでは実行できません。ただし、代わりにnp.rec.fromrecordsを使用することもできます。
v = df.reset_index()
np.rec.fromrecords(v, names=v.columns.tolist())
# rec.array([('a', -1, 4), ('b', 2, 5), ('c', 3, 6)],
# dtype=[('index', '<U1'), ('A', '<i8'), ('B', '<i8')])
パフォーマンスに関しては、ほぼ同じです（実際には、rec.fromrecordsを使用する方が少し速いです）。
df2 = pd.concat([df] * 10000)
%timeit df2.to_records()
%%timeit
v = df2.reset_index()
np.rec.fromrecords(v, names=v.columns.tolist())
11.1 ms ± 557 µs per loop (mean ± std. dev. of 7 runs, 100 loops each)
9.67 ms ± 126 µs per loop (mean ± std. dev. of 7 runs, 100 loops each)
新しいメソッドを追加する理由
2つのGitHub issue GH19954 および GH23623 の下での議論の結果として、to_numpy()（arrayname__に加えて）が追加されました。
具体的には、ドキュメントは論理的根拠について言及しています。
[...]
.valuesでは、戻り値が実際の配列なのか、それを変換したものなのか、パンダカスタム配列の1つなのか（Categoricalname__のように）不明瞭でした。たとえば、PeriodIndexname__を指定した場合、.valuesは毎回ピリオドオブジェクトの新しいndarrayname__を生成します。 [...]
to_numpyは、APIの一貫性を改善することを目的としています。これは正しい方向への大きな一歩です。 .valuesは現在のバージョンでは非推奨になりませんが、将来のある時点でこれが起こる可能性があることを期待していますので、できるだけ早く新しいAPIに移行するようユーザーに促します。
他のソリューションに対する批評
既に述べたように、DataFrame.valuesの動作は矛盾しています。
DataFrame.get_values()は単にDataFrame.valuesのラッパーなので、上記のすべてが当てはまります。
DataFrame.as_matrix()は現在廃止予定です、NOT use！
あなたはto_recordsメソッドを使うことができます、しかし、彼らがあなたが最初から欲しいものではないならdtypesで少し遊ばなければなりません。私の場合、DFを文字列からコピーしたので、インデックスタイプは文字列です（パンダのobject dtypeで表されます）。
In [102]: df
Out[102]:
label A B C
ID
1 NaN 0.2 NaN
2 NaN NaN 0.5
3 NaN 0.2 0.5
4 0.1 0.2 NaN
5 0.1 0.2 0.5
6 0.1 NaN 0.5
7 0.1 NaN NaN
In [103]: df.index.dtype
Out[103]: dtype('object')
In [104]: df.to_records()
Out[104]:
rec.array([(1, nan, 0.2, nan), (2, nan, nan, 0.5), (3, nan, 0.2, 0.5),
(4, 0.1, 0.2, nan), (5, 0.1, 0.2, 0.5), (6, 0.1, nan, 0.5),
(7, 0.1, nan, nan)],
dtype=[('index', '|O8'), ('A', '<f8'), ('B', '<f8'), ('C', '<f8')])
In [106]: df.to_records().dtype
Out[106]: dtype([('index', '|O8'), ('A', '<f8'), ('B', '<f8'), ('C', '<f8')])
再配列のdtypeを変換しても私にはうまくいきませんが、既にPandasでこれを行うことができます。
In [109]: df.index = df.index.astype('i8')
In [111]: df.to_records().view([('ID', '<i8'), ('A', '<f8'), ('B', '<f8'), ('C', '<f8')])
Out[111]:
rec.array([(1, nan, 0.2, nan), (2, nan, nan, 0.5), (3, nan, 0.2, 0.5),
(4, 0.1, 0.2, nan), (5, 0.1, 0.2, 0.5), (6, 0.1, nan, 0.5),
(7, 0.1, nan, nan)],
dtype=[('ID', '<i8'), ('A', '<f8'), ('B', '<f8'), ('C', '<f8')])
Pandasはエクスポートされたレコード配列でインデックスの名前を正しく（IDに）設定していないことに注意してください（バグ？）、そのためそれを修正するために型変換から利益を得ます。
現時点ではPandasには8バイト整数のi8と浮動小数点のf8しかありません（ issue を参照）。
df.to_records()があなたのために働くようです。あなたが探している正確な機能 が要求されました そしてto_recordsが代わりのものとして指していました。
私はあなたの例を使ってローカルにこれを試してみました、そしてその呼び出しはあなたが探していた出力に非常に似た何かをもたらします：
rec.array([(1, nan, 0.2, nan), (2, nan, nan, 0.5), (3, nan, 0.2, 0.5),
(4, 0.1, 0.2, nan), (5, 0.1, 0.2, 0.5), (6, 0.1, nan, 0.5),
(7, 0.1, nan, nan)],
dtype=[(u'ID', '<i8'), (u'A', '<f8'), (u'B', '<f8'), (u'C', '<f8')])
これはrecarrayではなくarrayです。コンストラクタをnp.array(df.to_records())として呼び出すことで、結果を通常のテンキー配列に移動できます。
これがパンダDataFrameから構造体配列を作る私のアプローチです。
データフレームを作成する
import pandas as pd
import numpy as np
import six
NaN = float('nan')
ID = [1, 2, 3, 4, 5, 6, 7]
A = [NaN, NaN, NaN, 0.1, 0.1, 0.1, 0.1]
B = [0.2, NaN, 0.2, 0.2, 0.2, NaN, NaN]
C = [NaN, 0.5, 0.5, NaN, 0.5, 0.5, NaN]
columns = {'A':A, 'B':B, 'C':C}
df = pd.DataFrame(columns, index=ID)
df.index.name = 'ID'
print(df)
A B C
ID
1 NaN 0.2 NaN
2 NaN NaN 0.5
3 NaN 0.2 0.5
4 0.1 0.2 NaN
5 0.1 0.2 0.5
6 0.1 NaN 0.5
7 0.1 NaN NaN
パンダDataFrameから（レコード配列ではなく）テンキーな構造体配列を作成する関数を定義します。
def df_to_sarray(df):
"""
Convert a pandas DataFrame object to a numpy structured array.
This is functionally equivalent to but more efficient than
np.array(df.to_array())
:param df: the data frame to convert
:return: a numpy structured array representation of df
"""
v = df.values
cols = df.columns
if six.PY2: # python 2 needs .encode() but 3 does not
types = [(cols[i].encode(), df[k].dtype.type) for (i, k) in enumerate(cols)]
else:
types = [(cols[i], df[k].dtype.type) for (i, k) in enumerate(cols)]
dtype = np.dtype(types)
z = np.zeros(v.shape[0], dtype)
for (i, k) in enumerate(z.dtype.names):
z[k] = v[:, i]
return z
データの一部としてインデックスを含む新しいデータフレームを作成するには、reset_indexを使用します。そのデータフレームを構造体配列に変換します。
sa = df_to_sarray(df.reset_index())
sa
array([(1L, nan, 0.2, nan), (2L, nan, nan, 0.5), (3L, nan, 0.2, 0.5),
(4L, 0.1, 0.2, nan), (5L, 0.1, 0.2, 0.5), (6L, 0.1, nan, 0.5),
(7L, 0.1, nan, nan)],
dtype=[('ID', '<i8'), ('A', '<f8'), ('B', '<f8'), ('C', '<f8')])
編集：python 3で.encode（）を呼び出すエラーを回避するためにdf_to_sarrayを更新。コメントと解決策を提供してくれた Joseph Garvin と halcyon に感謝。
サンプルDataFrameの簡単な方法：
df
gbm nnet reg
0 12.097439 12.047437 12.100953
1 12.109811 12.070209 12.095288
2 11.720734 11.622139 11.740523
3 11.824557 11.926414 11.926527
4 11.800868 11.727730 11.729737
5 12.490984 12.502440 12.530894
つかいます：
np.array(df.to_records().view(type=np.matrix))
取得する：
array([[(0, 12.097439 , 12.047437, 12.10095324),
(1, 12.10981081, 12.070209, 12.09528824),
(2, 11.72073428, 11.622139, 11.74052253),
(3, 11.82455653, 11.926414, 11.92652727),
(4, 11.80086775, 11.72773 , 11.72973699),
(5, 12.49098389, 12.50244 , 12.53089367)]],
dtype=(numpy.record, [('index', '<i8'), ('gbm', '<f8'), ('nnet', '<f4'),
('reg', '<f8')]))
データフレームをそのNumpy配列表現に変換する2つの方法。
mah_np_array = df.as_matrix(columns=None)mah_np_array = df.values
Doc： https://pandas.pydata.org/pandas-docs/stable/generated/pandas.DataFrame.as_matrix.html
データフレームからarcgisテーブルへのエクスポート時に同様の問題が発生し、usgsからの解決策に遭遇しました（ https://my.usgs.gov/confluence/display/cdi /pandas.DataFrame+to+ArcGIS+Table ） 。手短に言えば、あなたの問題は同様の解決策を持っています。
df
A B C
ID
1 NaN 0.2 NaN
2 NaN NaN 0.5
3 NaN 0.2 0.5
4 0.1 0.2 NaN
5 0.1 0.2 0.5
6 0.1 NaN 0.5
7 0.1 NaN NaN
np_data = np.array(np.rec.fromrecords(df.values))
np_names = df.dtypes.index.tolist()
np_data.dtype.names = Tuple([name.encode('UTF8') for name in np_names])
np_data
array([( nan, 0.2, nan), ( nan, nan, 0.5), ( nan, 0.2, 0.5),
( 0.1, 0.2, nan), ( 0.1, 0.2, 0.5), ( 0.1, nan, 0.5),
( 0.1, nan, nan)],
dtype=(numpy.record, [('A', '<f8'), ('B', '<f8'), ('C', '<f8')]))
流星の答えにさらに、私はコードを見つけた
df.index = df.index.astype('i8')
うまくいきません。だから私はこの問題に立ち往生他人の便宜のために私のコードをここに置いた。
city_cluster_df = pd.read_csv(text_filepath, encoding='utf-8')
# the field 'city_en' is a string, when converted to Numpy array, it will be an object
city_cluster_arr = city_cluster_df[['city_en','lat','lon','cluster','cluster_filtered']].to_records()
descr=city_cluster_arr.dtype.descr
# change the field 'city_en' to string type (the index for 'city_en' here is 1 because before the field is the row index of dataframe)
descr[1]=(descr[1][0], "S20")
newArr=city_cluster_arr.astype(np.dtype(descr))
Dtypeを保存するためにto_numpy()の代わりにto_numpyを書きます。
私は上記の答えを調べました。 " as_matrix（） "メソッドは機能しますが、現在は使用されていません。私にとって、うまくいったのは " .to_numpy（） "でした。
これは多次元配列を返します。 Excelシートからデータを読み込んでいて、任意のインデックスのデータにアクセスする必要がある場合は、この方法を使用します。お役に立てれば ：）
これを試して：
a = numpy.asarray(df)