2 回答

TA貢獻1911條經驗 獲得超7個贊
在accuracy()
一個方法gensim
字向量模型(現在的冷遇相比evaluate_word_analogies()
)不會把你的文本輸入-它需要的字,類推挑戰專門格式的文件。這個文件通常被命名為questions-words.txt
.
這是一種測試通用詞向量的流行方法,可以追溯到 Google 的原始 Word2Vec 論文和代碼發布。
但是,此評估不一定表明哪些詞向量最適合您的需求。(例如,一組詞向量可能在這些類比上得分更高,但對于特定分類或信息檢索目標則更糟。)
為了您自己的目的的良好向量,您應該設計一些特定于任務的評估,它給出與您的最終目標的成功相關的分數。
另請注意,作為無監督算法,詞向量不一定需要保留測試集才能進行評估。您通常希望使用盡可能多的數據來訓練詞向量——確保最大的詞匯覆蓋率,每個詞的示例最多。然后,您可能會根據某個外部標準測試詞向量——比如類比問題,它們根本不是訓練集的一部分。
或者,您只需將詞向量用作您正在測試的某些下游任務的附加輸入,并且在該下游任務中,您將保留用于訓練某些監督算法的測試集。這確保您的監督方法不僅僅是記住/過度擬合標記的輸入,并且為您提供關于該詞向量集是否有助于下游任務的間接質量信號。(而且,該詞向量集可以根據它們對其他監督任務的幫助程度與其他詞向量集進行比較,而不是與它們自己相同的無監督訓練步驟進行比較。)

TA貢獻1884條經驗 獲得超4個贊
Gensim 具有用于測試數據的各種其他指標,使用它們,您可能可以在幾行代碼中定義自己的函數。例如,除了models.wv.analogy()
和evaluate_word_analogies
,也有類似的功能evaluate_word_pairs
,closer_than()
,distance()
,most_similar()
等(請參閱該文檔的models.keyedvector
更多細節。)這些功能,也許單獨或作為更大的功能部分用來評估你的話的嵌入。希望這可以幫助!
添加回答
舉報