亚洲在线久爱草,狠狠天天香蕉网,天天搞日日干久草,伊人亚洲日本欧美

為了賬號安全,請及時綁定郵箱和手機立即綁定
已解決430363個問題,去搜搜看,總會有你想問的

如何使用 ktrain for NER Offline?

如何使用 ktrain for NER Offline?

慕桂英4014372 2022-12-20 14:37:29
我按照這個筆記本 ( https://nbviewer.jupyter.org/github/amaiya/ktrain/blob/master/tutorials/tutorial-06-sequence-tagging.ipynb ) 訓練了我的英語模型。我能夠保存我的預訓練模型并毫無問題地運行它。但是,我需要再次運行它但離線并且它不起作用,我知道我需要下載文件并執行類似于此處所做的操作。https://github.com/huggingface/transformers/issues/136但是,我無法理解我需要在哪里更改 ktrain 的設置。我運行這個:ktrain.load_predictor('Functions/my_english_nermodel')這是我得到的錯誤:Traceback (most recent call last):  File "Z:\Functions\NER.py", line 155, in load_bert    reloaded_predictor= ktrain.load_predictor('Z:/Functions/my_english_nermodel')  File "C:\Program Files\Python37\lib\site-packages\ktrain\core.py", line 1316, in load_predictor    preproc = pickle.load(f)  File "C:\Program Files\Python37\lib\site-packages\ktrain\text\ner\anago\preprocessing.py", line 76, in __setstate__    if self.te_model is not None: self.activate_transformer(self.te_model, layers=self.te_layers)  File "C:\Program Files\Python37\lib\site-packages\ktrain\text\ner\anago\preprocessing.py", line 100, in activate_transformer    self.te = TransformerEmbedding(model_name, layers=layers)  File "C:\Program Files\Python37\lib\site-packages\ktrain\text\preprocessor.py", line 1095, in __init__    self.tokenizer = self.tokenizer_type.from_pretrained(model_name)  File "C:\Program Files\Python37\lib\site-packages\transformers\tokenization_utils.py", line 903, in from_pretrained    return cls._from_pretrained(*inputs, **kwargs)  File "C:\Program Files\Python37\lib\site-packages\transformers\tokenization_utils.py", line 1008, in _from_pretrained    list(cls.vocab_files_names.values()),Process finished with exit code 1
查看完整描述

2 回答

?
犯罪嫌疑人X

TA貢獻2080條經驗 獲得超4個贊

更一般地,基于transformers的預訓練模型被下載到<home_directory>/.cache/torch/transformers. 例如,在 Linux 上,這將是/home/<user_name>/.cache/torch/transformers.

如上面的答案所示,要在無法訪問互聯網的機器上重新加載ktrain (對于使用庫中模型的模型),您需要將該文件夾中的模型文件復制到新機器上的相同位置。predictorktraintransformers


查看完整回答
反對 回復 2022-12-20
?
慕神8447489

TA貢獻1780條經驗 獲得超1個贊

當 ktrain 通過互聯網連接運行時,我找到了一個解決方案,它創建了一個文件夾: ''' C:\Users\lemolina.cache\torch\transformers ''' 我需要在沒有訪問權限的機器中復制相同的文件夾上網



查看完整回答
反對 回復 2022-12-20
  • 2 回答
  • 0 關注
  • 123 瀏覽
慕課專欄
更多

添加回答

舉報

0/150
提交
取消
微信客服

購課補貼
聯系客服咨詢優惠詳情

幫助反饋 APP下載

慕課網APP
您的移動學習伙伴

公眾號

掃描二維碼
關注慕課網微信公眾號