亚洲在线久爱草,狠狠天天香蕉网,天天搞日日干久草,伊人亚洲日本欧美

為了賬號安全,請及時綁定郵箱和手機立即綁定
已解決430363個問題,去搜搜看,總會有你想問的

新文本文檔與現有文檔列表的余弦相似度

新文本文檔與現有文檔列表的余弦相似度

慕虎7371278 2022-10-11 21:21:43
我有一個包含 1000 個帶有相應關鍵字的文本文檔的數據框。我想通過查找與列表中最相似的文檔對應的關鍵字來提取新文檔的關鍵字。
查看完整描述

1 回答

?
幕布斯6054654

TA貢獻1876條經驗 獲得超7個贊

首先將您的 csv 保存到數據幀 df 并使用以下函數進行余弦相似度計算。def get_cosine(vec1, vec2): intersection = set(vec1.keys()) & set(vec2.keys()) numerator = sum([vec1[x] * vec2[x] for x in intersection])


sum1 = sum([vec1[x]**2 for x in vec1.keys()])

sum2 = sum([vec2[x]**2 for x in vec2.keys()])

denominator = math.sqrt(sum1) * math.sqrt(sum2)


if not denominator:

    return 0.0

else:

    return float(numerator) / denominator


def text_to_vector(text):

word = re.compile(r'\w+')

words = word.findall(text)

return Counter(words)


def get_result(content_a, content_b):

text1 = content_a

text2 = content_b


vector1 = text_to_vector(text1)

vector2 = text_to_vector(text2)


cosine_result = get_cosine(vector1, vector2)

return cosine_result

然后遍歷 df 并調用如下函數:


similarity=[]

for ind in df.index:

#my_doc="new document should go in here"

#prev_doc= "previous document for each index should go in here"

cos=get_result(my_doc, prev_doc)

similarity.append(cos)

max_ind= similarity.index(max(similarity))  

您將獲得最相似文檔的索引位置


查看完整回答
反對 回復 2022-10-11
  • 1 回答
  • 0 關注
  • 84 瀏覽
慕課專欄
更多

添加回答

舉報

0/150
提交
取消
微信客服

購課補貼
聯系客服咨詢優惠詳情

幫助反饋 APP下載

慕課網APP
您的移動學習伙伴

公眾號

掃描二維碼
關注慕課網微信公眾號