web-dev-qa-db-ja.com

Sklearn：各クラスターの重心からの平均距離

重心から各クラスターのすべてのデータポイントまでの平均距離を見つけるにはどうすればよいですか？各クラスターの重心から（データセット内の）各点のユークリッド距離を見つけることができます。次に、重心から各クラスターのすべてのデータポイントまでの平均距離を求めます。各重心からの平均距離を計算する良い方法は何ですか？これまでのところ、これを行いました。

def k_means(self):
    data = pd.read_csv('hdl_gps_Apple_20111220_130416.csv', delimiter=',')
    combined_data = data.iloc[0:, 0:4].dropna()
    #print combined_data
    array_convt = combined_data.values
    #print array_convt
    combined_data.head()


    t_data=PCA(n_components=2).fit_transform(array_convt)
    #print t_data
    k_means=KMeans()
    k_means.fit(t_data)
    #------------k means fit predict method for testing purpose-----------------
    clusters=k_means.fit_predict(t_data)
    #print clusters.shape
    cluster_0=np.where(clusters==0)
    print cluster_0

    X_cluster_0 = t_data[cluster_0]
    #print X_cluster_0


    distance = euclidean(X_cluster_0[0], k_means.cluster_centers_[0])
    print distance


    classified_data = k_means.labels_
    #print ('all rows forst column........')
    x_min = t_data[:, 0].min() - 5
    x_max = t_data[:, 0].max() - 1
    #print ('min is ')
    #print x_min
    #print ('max is ')
    #print x_max

    df_processed = data.copy()
    df_processed['Cluster Class'] = pd.Series(classified_data, index=df_processed.index)
    #print df_processed

    y_min, y_max = t_data[:, 1].min(), t_data[:, 1].max() + 5
    xx, yy = np.meshgrid(np.arange(x_min, x_max, 1), np.arange(y_min, y_max, 1))

    #print ('the mesh grid is: ')

    #print xx
    Z = k_means.predict(np.c_[xx.ravel(), yy.ravel()])
    Z = Z.reshape(xx.shape)

    plt.figure(1)
    plt.clf()
    plt.imshow(Z, interpolation='nearest',
               extent=(xx.min(), xx.max(), yy.min(), yy.max()),
               cmap=plt.cm.Paired,
               aspect='auto', Origin='lower')


    #print Z


    plt.plot(t_data[:, 0], t_data[:, 1], 'k.', markersize=20)
    centroids = k_means.cluster_centers_
    inert = k_means.inertia_
    plt.scatter(centroids[:, 0], centroids[:, 1],
                marker='x', s=169, linewidths=3,
                color='w', zorder=8)
    plt.xlim(x_min, x_max)
    plt.ylim(y_min, y_max)
    plt.xticks(())
    plt.yticks(())
    plt.show()

つまり、この平均距離に基づいてデータをクリーンアップする必要があるため、特定のクラスターのすべてのデータポイントの平均距離をそのクラスターの重心から計算したい

pythonnumpyscikit-learncluster-analysisk-means
9
Rezwan

ここに一つの方法があります。ユークリッド以外の別の距離メトリックが必要な場合は、k_mean_distance()を関数内の別の距離メジャーに置き換えることができます。

割り当てられた各クラスターとクラスター中心のデータポイント間の距離を計算し、平均値を返します。

距離計算のための関数：

_def k_mean_distance(data, cx, cy, i_centroid, cluster_labels):
    # Calculate Euclidean distance for each data point assigned to centroid 
    distances = [np.sqrt((x-cx)**2+(y-cy)**2) for (x, y) in data[cluster_labels == i_centroid]]
    # return the mean value
    return np.mean(distances)
_

各重心について、関数を使用して平均距離を取得します。

_total_distance = []
for i, (cx, cy) in enumerate(centroids):
    # Function from above
    mean_distance = k_mean_distance(data, cx, cy, i, cluster_labels)
    total_dist.append(mean_distance)
_

だから、あなたの質問の文脈では：

_def k_mean_distance(data, cx, cy, i_centroid, cluster_labels):
        distances = [np.sqrt((x-cx)**2+(y-cy)**2) for (x, y) in data[cluster_labels == i_centroid]]
        return np.mean(distances)

t_data=PCA(n_components=2).fit_transform(array_convt)
k_means=KMeans()
clusters=k_means.fit_predict(t_data)
centroids = km.cluster_centers_

c_mean_distances = []
for i, (cx, cy) in enumerate(centroids):
    mean_distance = k_mean_distance(t_data, cx, cy, i, clusters)
    c_mean_distances.append(mean_distance)
_

結果をプロットすると、plt.plot(c_mean_distances)のようになります。

kmeans clusters vs mean value

4
alphaleonis

alphaleonisがいい答えを返しました。 n次元の一般的なケースでは、ここに彼の答えに必要ないくつかの変更があります。

def k_mean_distance(data, cantroid_matrix, i_centroid, cluster_labels):
    # Calculate Euclidean distance for each data point assigned to centroid
    distances = [np.linalg.norm(x-cantroid_matrix) for x in data[cluster_labels == i_centroid]]
    # return the mean value
    return np.mean(distances)

for i, cent_features in enumerate(centroids):
            mean_distance = k_mean_distance(emb_matrix, centroid_matrix, i, kmeans_clusters)
            c_mean_distances.append(mean_distance)
2
Shay.G

KMeansの次の属性を使用できます。

_cluster_centers_ : array, [n_clusters, n_features]_

すべてのポイントについて、predict(X)を使用して、それが属するクラスターをテストし、その後、クラスター予測までの距離を計算して返します（インデックスを返します）。

2
Farseer

すべての距離を複雑な配列に計算します。

次に、nparray.mean()を使用して平均を取得します。

0
Anony-Mousse