用爬蟲從網站爬下的數據怎么存儲?
1 回答

慕神8447489
TA貢獻1780條經驗 獲得超1個贊
顯然不能直接儲存,你還得解析出自己需要的內容。
比如我爬取某新聞網今日的國內新聞,那么我創建一個實體類,里面有屬性:新聞標題,新聞時間,正文等等。解析出你需要的內容,封到實體里面,然后在dao層直接save到數據庫即可
如果你爬下的是整個網頁,這個好辦,把它當做文件一樣,用流操作保存到電腦上即可。當然保存網頁會遇到編碼問題,這個很棘手。
添加回答
舉報
0/150
提交
取消