給定以下代碼：import pandas as pdfrom sklearn.feature_extraction.text import TfidfVectorizerimport urllib.request # the lib that handles the url stufffrom bs4 import BeautifulSoupimport unicodedatadef remove_control_characters(s): base = "" for ch in s: if unicodedata.category(ch)[0]!="C": base = base + ch.lower() else: base = base + " " return base moby_dick_url='http://www.gutenberg.org/files/2701/2701-0.txt'soul_of_japan = 'http://www.gutenberg.org/files/12096/12096-0.txt'def extract_body(url): with urllib.request.urlopen(url) as s: data = BeautifulSoup(s).body()[0].string stripped = remove_control_characters(data) return strippedmoby = extract_body(moby_dick_url) bushido = extract_body(soul_of_japan)corpus = [moby,bushido]vectorizer = TfidfVectorizer(use_idf=False, smooth_idf=True)tf_idf = vectorizer.fit_transform(corpus)df_tfidf = pd.DataFrame(tf_idf.toarray(), columns=vectorizer.get_feature_names(), index=["Moby", "Bushido"])df_tfidf[["the", "whale"]]我希望“鯨魚”在“白鯨記”中的 tf-idf 得分相對較高，但在“武士道：日本之魂”中得分較低，而“the”在兩者中得分較低。然而，我得到相反的結果。計算的結果是：| | the | whale ||-------|-----------|----------||Moby | 0.707171 | 0.083146 ||Bushido| 0.650069 | 0.000000 |這對我來說毫無意義。誰能指出我在思考或編碼中犯的錯誤？
1 回答
收到一只叮咚
TA貢獻1821條經驗 獲得超5個贊
你觀察這個有兩個原因。
第一個是因為您傳遞給 Tfidf Vectorizer 的參數。您應該這樣做
TfidfVectorizer(use_idf=True, ...)，因為它是 tfidf 的 idf 部分（請記住，tf-idf 是詞頻和逆文檔頻率的乘積）會懲罰出現在所有文檔中的單詞。通過設置TfidfVectorizer(use_idf=False, ..)，您只是在考慮詞頻部分，這顯然會導致停用詞的得分更高第二個是因為你的數據。假設您修復了上面的代碼問題，您的語料庫仍然非常非常小，只有兩個文檔。這意味著出現在兩本書中的任何單詞都將以相同的方式受到懲罰。“勇氣”可能出現在兩本書中，就像“the”一樣，因此鑒于它們都出現在您的語料庫的每個文檔中，它們的 idf 值將是相同的，導致停用詞再次獲得更高的分數，因為它們的術語更大 -頻率
添加回答
舉報
0/150
提交
取消