亚洲在线久爱草,狠狠天天香蕉网,天天搞日日干久草,伊人亚洲日本欧美

為了賬號安全,請及時綁定郵箱和手機立即綁定
已解決430363個問題,去搜搜看,總會有你想問的

問大家一個python爬蟲和大數據的問題

問大家一個python爬蟲和大數據的問題

侃侃無極 2018-07-30 17:22:37
我的畢業設計是做一個爬取豆瓣網站的系統,我的同學的畢業設計是大數據方面的題目。我們的畢設老師要求我用爬蟲爬完數據后存儲,然后做一個接口把數據傳給同學(數據從我的電腦傳到他的電腦上),他再用他搭建的平臺處理數據再展示出來?,F在我的爬蟲系統做好了,他的平臺也搭建好了。請問這之間傳數據的接口怎么設計,要掌握哪些知識
查看完整描述

3 回答

?
慕雪6442864

TA貢獻1812條經驗 獲得超5個贊

接口數據格式根據對方平臺的需求,就跟寫app的接口差不多,給個json數據

查看完整回答
反對 回復 2018-08-02
?
慕尼黑8549860

TA貢獻1818條經驗 獲得超11個贊

你的爬蟲是winform項目吧。可以再做一個web項目,你同學需要什么接口,你就寫個相應web api接口傳json格式數據給他。
如果你想做在爬蟲winform項目里,你這邊可以寫一個socket服務端,你同學那邊寫個socket客戶端來請求數據。不過不推薦把服務端寫在winform里,推薦用剛才說的web api,其次推薦webservice等。

查看完整回答
反對 回復 2018-08-02
?
Smart貓小萌

TA貢獻1911條經驗 獲得超7個贊

我跟同事也做過這樣的配合,我這邊爬完數據后直接把數據存到mysql,他那邊直接查數據就好,存數據庫的表結構什么的是我們事先商量好的。

查看完整回答
反對 回復 2018-08-02
  • 3 回答
  • 0 關注
  • 980 瀏覽
慕課專欄
更多

添加回答

舉報

0/150
提交
取消
微信客服

購課補貼
聯系客服咨詢優惠詳情

幫助反饋 APP下載

慕課網APP
您的移動學習伙伴

公眾號

掃描二維碼
關注慕課網微信公眾號