已解決430363個問題，去搜搜看，總會有你想問的

為什么我們需要在文本生成應用程序中按小寫序列制作句子？或者說有必要嗎？

首頁猿問為什么我們需要在文本生成應用程序中...

為什么我們需要在文本生成應用程序中按小寫序列制作句子？或者說有必要嗎？

Python

慕碼人8056858 2023-07-05 15:41:00

顯然我正在做一個與文本生成相關的項目。根據tensorflow.org的代碼示例，加載文本文件時，它們不會降低數據中的字母。然而，在其他來源中，例如 Deeplearningai 在序列模型課程中的 Dinosaurus_Island 作業。我不知道降低文本中字母的效果，或者根本沒有效果嗎？

查看完整描述

2 回答

四季花海

TA貢獻1811條經驗獲得超5個贊

這是為了簡化需要表示的元素數量。當您有大寫字母時，您需要分配至少 26 個額外空格 [AZ]，如果有大寫字母的組合，則需要分配更多空格。對于文本分類，我認為沒有必要保留大寫字母，因為這不會影響文本的閱讀方式，但如果您試圖生成序列中的下一個單詞或下一個字母，那么它就變得很重要。

反對回復 2023-07-05

暮色呼如

TA貢獻1853條經驗獲得超9個贊

您可能想要小寫文本的原因之一是數據集很小。想象一下“amazing”和“Amazing”一詞出現在您的數據集中。對于神經網絡來說，這兩個是不同的詞。如果您有一個大數據集，并且這些詞在不同情況下多次出現，它可能能夠了解到“amazing”和“Amazing”是同一件事。但是，假設“amazing”這個詞在您的訓練集中出現了十次，而“Amazing”只出現了一次。模型很可能無法找出兩者之間的關系，這可能會影響網絡的性能。

小寫也可以幫助處理 OOV 單詞。想象一下，如果“Amazing”從未出現在訓練數據集中，但網絡在測試樣本中遇到它。如果你將輸入小寫，它會工作得很好，但如果你不這樣做，你就會遇到問題。

反對回復 2023-07-05

2 回答
0 關注
144 瀏覽

關注

添加回答

舉報

0/150

提交

取消

亚洲在线久爱草,狠狠天天香蕉网,天天搞日日干久草,伊人亚洲日本欧美

熱搜

最近搜索清空

為什么我們需要在文本生成應用程序中按小寫序列制作句子？或者說有必要嗎？

為什么我們需要在文本生成應用程序中按小寫序列制作句子？或者說有必要嗎？

2 回答

添加回答

為什么我們需要在文本生成應用程序中按小寫序列制作句子？或者說有必要嗎？

為什么我們需要在文本生成應用程序中按小寫序列制作句子？或者說有必要嗎？