在我的 nutch-site.xml 中，我添加以下內容以停止截斷；但是，在獲取過程中，出現以下錯誤。我希望它停止截斷并提供我需要的結果，我假設 -1 值可以實現。我正在使用 2.2.1 版。有任何想法嗎？<property> <name>http.content.limit</name> <value>-1</value> <description>The length limit for downloaded content using the http protocol, in bytes. If this value is nonnegative (>=0), content longer than it will be truncated; otherwise, no truncation at all. Do not confuse this setting with the file.content.limit setting. </description></property>線程“main”中的異常 java.lang.RuntimeException：作業失敗：name=fetch，job_local1185573074_0001 在 org.apache.nutch.util.NutchJob.waitForCompletion(NutchJob.java:55) 在 org.apache.nutch.fetcher。 FetcherJob.run(FetcherJob.java:194) 在 org.apache.nutch.fetcher.FetcherJob.fetch(FetcherJob.java:219) 在 org.apache.nutch.fetcher.FetcherJob.run(FetcherJob.java:301) 在 org .apache.hadoop.util.ToolRunner.run(ToolRunner.java:65) 在 org.apache.nutch.fetcher.FetcherJob.main(FetcherJob.java:307)
1 回答
FFIVE
TA貢獻1797條經驗 獲得超6個贊
我通過刪除http.content.limitnutch-site.xml 中的部分并添加parser.skip.truncated并將其設置為 false 來解決此問題。
<property>
<name>parser.skip.truncated</name>
<value>false</value>
<description>Boolean value for whether we should skip parsing for truncated documents. By default this
property is activated due to extremely high levels of CPU which parsing can sometimes take.
</description>
</property>
添加回答
舉報
0/150
提交
取消