亚洲在线久爱草,狠狠天天香蕉网,天天搞日日干久草,伊人亚洲日本欧美

為了賬號安全,請及時綁定郵箱和手機立即綁定

大數據分析應用研發

標簽:
大數據

1. 迁移数据到大数据平台的方式

数据库数据:Sqoop、kettle、Datax
文本的迁移:scp、ftp、flume
流数据:kafka、flume

需注意:

  • 数据格式,属性含异常字符,不同数据库的类型。
  • 增量数据如何导入的管理。
  • 数据如何更新,更新操作是在导入时候实现,还是后续etl过程实现。

目前实践经验,数据导入sqoop效率最高,datax效率其次取决于所在服务器的性能,kettle具备完整流程管理的机制。

2. 大数据平台能做什么

进行etl建立数据仓库,使用分布式计算引擎进行数据分析,建立数据分析专题,使用分布式机器学习算法库设计算法模型,以及可以实现复杂的对象关联关系分析。

主要涉及Spark、Mapreduce、Hive、Tensorflow 、Spark mlib 、HBase、 AarangoDB和JanusGraph。

3. 数据分析结果获取

数据结果的快速呈现,主要通过多维数据分析Greenplum,Apache Kylin,ElasticSearch,HBase,Oracle,Mysql实现。

4. 数据分析结果可视化

商务BI软件、ECarts、D3.js

5. 对外提供数据服务、智能化服务

微服务架构,服务上线,服务发布,服务开放等。

點擊查看更多內容
TA 點贊

若覺得本文不錯,就分享一下吧!

評論

作者其他優質文章

正在加載中
全棧工程師
手記
粉絲
3
獲贊與收藏
0

關注作者,訂閱最新文章

閱讀免費教程

  • 推薦
  • 評論
  • 收藏
  • 共同學習,寫下你的評論
感謝您的支持,我會繼續努力的~
掃碼打賞,你說多少就多少
贊賞金額會直接到老師賬戶
支付方式
打開微信掃一掃,即可進行掃碼打賞哦
今天注冊有機會得

100積分直接送

付費專欄免費學

大額優惠券免費領

立即參與 放棄機會
微信客服

購課補貼
聯系客服咨詢優惠詳情

幫助反饋 APP下載

慕課網APP
您的移動學習伙伴

公眾號

掃描二維碼
關注慕課網微信公眾號

舉報

0/150
提交
取消