-
storm作業提交運行流程 1.用戶編寫storm Topolgy(wordCountTopology) 一個用戶作業 2.使用client提交Topolgy給nimbus 3.nimbus提派Task給supervisor 4.supervisor為task啟動worker 5.worker執行task -------------------------- storm采用主從結構，主Nimbus和多個從Supervisor,Nimbus只負責管理性的工作單點問題必須保證主節點是無狀態的，重啟就能恢復,相關元數據配置信息都是存儲在zookeeper上。Supervisor主要聽Nimbus的話管理啟動和監控worker, worker是真正干活的進程負責數據傳輸和計算. ------------------------------- Storm 主從結構 Nimbus 主節點，只負責整體分配工作，不具體干活 Supervisor 從節點，維護每臺機器，直接管理干活的Worker Worker 真正干活的（task）進程，數據計算和傳輸 DRPC Storm UI 監控WEB 運行流程 用戶編寫作業 使用客戶端提交給Nimbus Nimbus指派Task給Supervisor Supervisor 為task啟動Worker Worker 執行Task查看全部
-
批量計算與流式計算的不同點查看全部
-
Google發明的幾篇論文解決了各個公司升級服務器的弊端， 分布式框架三篇論文; google file system bigTable MapReduce 流式計算和批量計算： 目前有些人希望通過同一API解決批量計算和流式計算： Summer bird Clouddataflow （ps:此API開源）查看全部
-
Hadoop查看全部
-
三篇論文查看全部
-
1.分清流式計算(實效要求高的場景)與批量計算(實效要求不高的場景)各自的適用場景 2.知道流式計算中時效性和正確性的取舍 GFS,bigTable,Mapreduce只適合解決批量計算的場景,只能先收集數據收集得足夠多之后,再進行Mapreduce處理，處理完后結束計算。 搜索引警惡意點擊分析,需要實時知道點擊是否是惡意點擊.以減少損失. apache storm流式數據則是數據持續不斷到來,一般做為一個服務持續不斷運行. 流式計算與批量計算整合開源框架(summint bird(trite),cloud data flow(谷歌))查看全部
-
hadoop不能解決流式計算，產生storm查看全部
-
敏敏共鳴倪敏查看全部
-
批量計算與流式計算的區別查看全部
-
Spout、Bolt、Stream、Tuple查看全部
-
Map-Reduce計算Words2查看全部
-
Map-Reduce計算Words查看全部
-
kill查看全部
-
storm啟動ui查看全部
-
集群配置查看全部
舉報
0/150
提交
取消