私はこのエラーを受け取ります:
sum()に予期しないキーワード引数 'out'がありました
このコードを実行すると:
import pandas as pd, numpy as np
import keras
from keras.layers.core import Dense, Activation
from keras.models import Sequential
def AUC(y_true,y_pred):
not_y_pred=np.logical_not(y_pred)
y_int1=y_true*y_pred
y_int0=np.logical_not(y_true)*not_y_pred
TP=np.sum(y_pred*y_int1)
FP=np.sum(y_pred)-TP
TN=np.sum(not_y_pred*y_int0)
FN=np.sum(not_y_pred)-TN
TPR=np.float(TP)/(TP+FN)
FPR=np.float(FP)/(FP+TN)
return((1+TPR-FPR)/2)
# Input datasets
train_df = pd.DataFrame(np.random.Rand(91,1000))
train_df.iloc[:,-2]=(train_df.iloc[:,-2]>0.8)*1
model = Sequential()
model.add(Dense(output_dim=60, input_dim=91, init="glorot_uniform"))
model.add(Activation("sigmoid"))
model.add(Dense(output_dim=1, input_dim=60, init="glorot_uniform"))
model.add(Activation("sigmoid"))
model.compile(optimizer='rmsprop',loss='binary_crossentropy',metrics=[AUC])
train_df.iloc[:,-1]=np.ones(train_df.shape[0]) #bias
X=train_df.iloc[:,:-1].values
Y=train_df.iloc[:,-1].values
print X.shape,Y.shape
model.fit(X, Y, batch_size=50,show_accuracy = False, verbose = 1)
バッチでループを実行し、ソースコードを編集する以外に、カスタムメトリックを実装することは可能ですか?
このコードは、y_pred
およびy_true
はnumpy配列ではなく、TheanoまたはTensor Flowテンソルのいずれかです。そのため、このエラーが発生しました。
カスタムメトリックを定義できますが、引数はnumpy配列ではなくそれらのテンソルであることを覚えておく必要があります。
ここでは、OPの正確な問題ではなく、OPのトピックの質問に答えています。トピックの問題をグーグルで検索すると質問が上部に表示されるため、これを行っています。
カスタムメトリックは2つの方法で実装できます。
Keras doc で述べたように。
import keras.backend as K
def mean_pred(y_true, y_pred):
return K.mean(y_pred)
model.compile(optimizer='sgd',
loss='binary_crossentropy',
metrics=['accuracy', mean_pred])
ただし、ここでは、MarcinMożejkoの回答で述べたように、y_true
とy_pred
はテンソルであることに注意する必要があります。そのため、メトリックを正しく計算するには、keras.backend
機能を使用する必要があります。これを見てくださいSO詳細については質問 KerasでF1マクロを計算する方法?
または、 Keras GH issue に記載されているように、ハックな方法で実装できます。そのためには、model.fit
のcallbacks
引数を使用する必要があります。
import keras as keras
import numpy as np
from keras.optimizers import SGD
from sklearn.metrics import roc_auc_score
model = keras.models.Sequential()
# ...
sgd = SGD(lr=0.001, momentum=0.9)
model.compile(optimizer=sgd, loss='categorical_crossentropy', metrics=['accuracy'])
class Metrics(keras.callbacks.Callback):
def on_train_begin(self, logs={}):
self._data = []
def on_Epoch_end(self, batch, logs={}):
X_val, y_val = self.validation_data[0], self.validation_data[1]
y_predict = np.asarray(model.predict(X_val))
y_val = np.argmax(y_val, axis=1)
y_predict = np.argmax(y_predict, axis=1)
self._data.append({
'val_rocauc': roc_auc_score(y_val, y_predict),
})
return
def get_data(self):
return self._data
metrics = Metrics()
history = model.fit(X_train, y_train, epochs=100, validation_data=(X_val, y_val), callbacks=[metrics])
metrics.get_data()
aUCメトリック関数でmodel.predict()を渡すことができます。 [これはbacthesで繰り返されるので、model.predict_on_batch()を使用する方が良いかもしれません。出力としてsoftmaxレイヤー(確率を出力するもの)のようなものがあると仮定すると、sklearn.metricと組み合わせてAUCを取得できます。
from sklearn.metrics import roc_curve, auc
from ここ
def sklearnAUC(test_labels,test_prediction):
n_classes = 2
# Compute ROC curve and ROC area for each class
fpr = dict()
tpr = dict()
roc_auc = dict()
for i in range(n_classes):
# ( actual labels, predicted probabilities )
fpr[i], tpr[i], _ = roc_curve(test_labels[:, i], test_prediction[:, i])
roc_auc[i] = auc(fpr[i], tpr[i])
return round(roc_auc[0],3) , round(roc_auc[1],3)
メトリックを作成します
# gives a numpy array like so [ [0.3,0.7] , [0.2,0.8] ....]
Y_pred = model.predict_on_batch ( X_test )
# Y_test looks something like [ [0,1] , [1,0] .... ]
# auc1 and auc2 should be equal
auc1 , auc2 = sklearnAUC( Y_test , Y_pred )