web-dev-qa-db-ja.com

ロジスティック回帰のパラメーターの微調整

テキスト列でtf-idfを実行してロジスティック回帰を実行しています。これは、私がロジスティック回帰で使用する唯一の列です。このためのパラメーターを可能な限り調整する方法を教えてください。

最終的に私のロジスティック回帰分類器が実行されていると同様に実行されていると言えるようになる一連のステップを実行できるようにしたいと思います。

from sklearn import metrics,preprocessing,cross_validation
from sklearn.feature_extraction.text import TfidfVectorizer
import sklearn.linear_model as lm
import pandas as p
loadData = lambda f: np.genfromtxt(open(f, 'r'), delimiter=' ')

print "loading data.."
traindata = list(np.array(p.read_table('train.tsv'))[:, 2])
testdata = list(np.array(p.read_table('test.tsv'))[:, 2])
y = np.array(p.read_table('train.tsv'))[:, -1]

tfv = TfidfVectorizer(min_df=3, max_features=None, strip_accents='unicode',
                      analyzer='Word', token_pattern=r'\w{1,}', 
                      ngram_range=(1, 2), use_idf=1, smooth_idf=1, 
                      sublinear_tf=1)

rd = lm.LogisticRegression(penalty='l2', dual=True, tol=0.0001, 
                           C=1, fit_intercept=True, intercept_scaling=1.0, 
                           class_weight=None, random_state=None)

X_all = traindata + testdata
lentrain = len(traindata)

print "fitting pipeline"
tfv.fit(X_all)
print "transforming data"
X_all = tfv.transform(X_all)

X = X_all[:lentrain]
X_test = X_all[lentrain:]

print "20 Fold CV Score: ", np.mean(cross_validation.cross_val_score(rd, X, y, cv=20, scoring='roc_auc'))

print "training on full data"
rd.fit(X, y)
pred = rd.predict_proba(X_test)[:, 1]
testfile = p.read_csv('test.tsv', sep="\t", na_values=['?'], index_col=1)
pred_df = p.DataFrame(pred, index=testfile.index, columns=['label'])
pred_df.to_csv('benchmark.csv')
print "submission file created.."
pythonnumpymachine-learningartificial-intelligencescikit-learn
16
Simon Kiely

グリッド検索を使用して、最適なC値を見つけることができます。基本的に小さいCはより強い正則化を指定します。

>>> param_grid = {'C': [0.001, 0.01, 0.1, 1, 10, 100, 1000] }
>>> clf = GridSearchCV(LogisticRegression(penalty='l2'), param_grid)
GridSearchCV(cv=None,
             estimator=LogisticRegression(C=1.0, intercept_scaling=1,   
               dual=False, fit_intercept=True, penalty='l2', tol=0.0001),
             param_grid={'C': [0.001, 0.01, 0.1, 1, 10, 100, 1000]})

アプリケーションの詳細については、 GridSearchCvドキュメント を参照してください。

20
lennon310

グリッド検索はすべての可能な組み合わせをトレーニングしてテストするため、最適なパラメーターを見つけるための残忍な方法です。最良の方法は、過去の評価スコアを学習し、計算時間を短縮するベイズ最適化を使用することです。

2
viplov