亚洲在线久爱草,狠狠天天香蕉网,天天搞日日干久草,伊人亚洲日本欧美

為了賬號安全,請及時綁定郵箱和手機立即綁定
已解決430363個問題,去搜搜看,總會有你想問的

如何添加已知單詞標記器 keras python?

如何添加已知單詞標記器 keras python?

翻閱古今 2021-09-14 20:41:20
我想使用帶有印度尼西亞語的 keras 將文本轉換為序列。但 keras 標記器只檢測已知單詞。如何在keras中添加已知單詞?或者我有什么解決方案可以將文本轉換為序列?from keras.preprocessing.text import Tokenizertokenizer = Tokenizer(num_words=n_most_common_words, filters='!"#$%&()*+,-./:;<=>?@[\]^_`{|}~', lower=True)tokenizer.fit_on_texts(concated['TITLE'].values)txt = ["bisnis di indonesia sangat maju"]seq = list(tokenizer.texts_to_sequences_generator(txt))如果我使用印度尼西亞語,“seq”變量會產生空數組,如果我使用英文單詞,它會完美地工作。如何將 keras 用于不同的語言?或者無論如何要向keras添加一些已知詞?
查看完整描述

1 回答

?
手掌心

TA貢獻1942條經驗 獲得超3個贊

Keras不知道任何語言或文字。可以使用fit_on_textsorfit_on_sequences方法創建詞匯表。

我猜您是fit在某些英文文本(即concated['TITLE'].values)上使用分詞器。結果,內部詞匯只包含英語單詞(沒有印尼語單詞)。這解釋了為什么seq如果txt只包含非英語單詞會是空的。

此外,您可以查看源代碼Tokenizer。


查看完整回答
反對 回復 2021-09-14
  • 1 回答
  • 0 關注
  • 195 瀏覽
慕課專欄
更多

添加回答

舉報

0/150
提交
取消
微信客服

購課補貼
聯系客服咨詢優惠詳情

幫助反饋 APP下載

慕課網APP
您的移動學習伙伴

公眾號

掃描二維碼
關注慕課網微信公眾號