我正在處理一個非常高維的數據集，并對其執行了 k 均值聚類。我正在嘗試找到距離每個質心最近的 20 個點。數據集 (X_emb) 的尺寸為 10 x 2816。提供的是我用來查找距每個質心最近的單個點的代碼。注釋掉的代碼是我發現的一個潛在的解決方案，但我無法使其準確工作。import numpy as npimport pickle as pklfrom sklearn.cluster import KMeansfrom sklearn.metrics import pairwise_distances_argmin_minfrom sklearn.neighbors import NearestNeighborsfrom visualization.make_video_v2 import make_video_from_numpyfrom scipy.spatial import cKDTreen_s_train = 10000df = pkl.load(open('cluster_data/mixed_finetuning_data.pkl', 'rb'))N = len(df)X = []X_emb = []for i in range(N): play = df.iloc[i] if df.iloc[i].label == 1: X_emb.append(play['embedding']) X.append(play['input'])X_emb = np.array(X_emb)kmeans = KMeans(n_clusters=10)kmeans.fit(X_emb)results = kmeans.cluster_centers_closest, _ = pairwise_distances_argmin_min(kmeans.cluster_centers_, X)# def find_k_closest(centroids, data, k=1, distance_norm=2):# kdtree = cKDTree(data, leafsize=30)# distances, indices = kdtree.query(centroids, k, p=distance_norm)# if k > 1:# indices = indices[:,-1]# values = data[indices]# return indices, values# indices, values = find_k_closest(results, X_emb)
2 回答
蝴蝶不菲
TA貢獻1810條經驗 獲得超4個贊
您可以使用成對距離來計算每個點與 X_emb 中每個點的質心的距離，然后使用 numpy 查找最小 20 個元素的索引，最后從 X_emb 中獲取它們
from sklearn.metrics import pairwise_distances
distances = pairwise_distances(centroids, X_emb, metric='euclidean')
ind = [np.argpartition(i, 20)[:20] for i in distances]
closest = [X_emb[indexes] for indexes in ind]
最接近的形狀為（質心數 x 20）
ABOUTYOU
TA貢獻1812條經驗 獲得超5個贊
您可以NearestNeighbors通過以下方式從 sklearn 獲取課程：
from sklearn.neighbors import NearestNeighbors
def find_k_closest(centroids, data):
nns = {}
neighbors = NearesNieghbors(n_neighbors=20).fit(data)
for center in centroids:
nns[center] = neighbors.kneighbors(center, return_distance=false)
return nns
nns 字典應包含中心作為鍵和鄰居列表作為值
添加回答
舉報
0/150
提交
取消