亚洲在线久爱草,狠狠天天香蕉网,天天搞日日干久草,伊人亚洲日本欧美

為了賬號安全,請及時綁定郵箱和手機立即綁定
已解決430363個問題,去搜搜看,總會有你想問的

為什么 Storm 比 Hadoop 快?是由哪幾個方面決定的?

為什么 Storm 比 Hadoop 快?是由哪幾個方面決定的?

紅顏莎娜 2018-10-17 11:07:59
為什么 Storm 比 Hadoop 快?是由哪幾個方面決定的
查看完整描述

1 回答

?
狐的傳說

TA貢獻1804條經驗 獲得超3個贊

“快”這個詞是不明確的,專業屬于點有兩個層面:
  1. 延時 , 指數據從產生到運算產生結果的時間,題主的“快”應該主要指這個。
  2. 吞吐, 指系統單位時間處理的數據量。
  首先明確一點,在消耗資源相同的情況下,一般來說storm的延時低于mapreduce。但是吞吐也低于mapreduce。 我再補充一下。storm是典型的流計算系統,mapreduce是典型的批處理系統。下面對流計算和批處理系統流程
  真個數據處理流程來說大致可以分三個階段:
  1. 數據采集與準備
  2. 數據計算(涉及計算中的中間存儲), 題主中的“那些方面決定”應該主要是指這個階段處理方式。
  3. 數據結果展現(反饋)
  1)數據采集階段,目前典型的處理處理策略:數據的產生系統一般出自頁面打點和解析DB的log,流計算將數據采集中消息隊列(比如kafaka,metaQ,timetunle)等。批處理系統一般將數據采集進分布式文件系統(比如HDFS),當然也有使用消息隊列的。我們暫且把消息隊列和文件系統稱為預處理存儲。二者在延時和吞吐上沒太大區別,接下來從這個預處理存儲進入到數據計算階段有很大的區別,流計算一般在實時的讀取消息隊列進入流計算系統(storm)的數據進行運算,批處理一系統一般會攢一大批后批量導入到計算系統(hadoop),這里就有了延時的區別。
  2)數據計算階段,流計算系統(storm)的延時低主要有一下幾個方面(針對題主的問題)
  A: storm 進程是常駐的,有數據就可以進行實時的處理
轉載,僅供參考。.

查看完整回答
反對 回復 2018-10-22
  • 1 回答
  • 0 關注
  • 1243 瀏覽

添加回答

舉報

0/150
提交
取消
微信客服

購課補貼
聯系客服咨詢優惠詳情

幫助反饋 APP下載

慕課網APP
您的移動學習伙伴

公眾號

掃描二維碼
關注慕課網微信公眾號