web-dev-qa-db-ja.com

SklearnLabelEncoderはTypeErrorをソートでスローします

KaggleのTitanicデータセットを使用して機械学習を学習しています。 sklearnのLabelEncoderを使用して、テキストデータを数値ラベルに変換しています。次のコードは「Sex」では正常に機能しますが、「Embarked」では機能しません。

encoder = preprocessing.LabelEncoder()
features["Sex"] = encoder.fit_transform(features["Sex"])
features["Embarked"] = encoder.fit_transform(features["Embarked"])

これは私が得たエラーです

Traceback (most recent call last):
  File "../src/script.py", line 20, in <module>
    features["Embarked"] = encoder.fit_transform(features["Embarked"])
  File "/opt/conda/lib/python3.6/site-packages/sklearn/preprocessing/label.py", line 131, in fit_transform
    self.classes_, y = np.unique(y, return_inverse=True)
  File "/opt/conda/lib/python3.6/site-packages/numpy/lib/arraysetops.py", line 211, in unique
    perm = ar.argsort(kind='mergesort' if return_index else 'quicksort')
TypeError: '>' not supported between instances of 'str' and 'float'

Description of dataset

machine-learningscikit-learnsklearn-pandas
8
Bhavani Ravi

自分で解決しました。問題は、特定の機能にNaN値があることでした。数値に置き換えても、データ型が異なるため、エラーがスローされます。だから私はそれを文字値に置き換えました

 features["Embarked"] = encoder.fit_transform(features["Embarked"].fillna('0'))
18
Bhavani Ravi

この関数を試してみてください。Pandasデータフレームを渡す必要があります。列のタイプを調べてエンコードします。したがって、自分でタイプを確認する必要もありません。

def encoder(data):
'''Map the categorical variables to numbers to work with scikit learn'''
for col in data.columns:
    if data.dtypes[col] == "object":
        le = preprocessing.LabelEncoder()
        le.fit(data[col])
        data[col] = le.transform(data[col])
return data
4
Giovanni Bruner