1. 迁移数据到大数据平台的方式
数据库数据:Sqoop、kettle、Datax
文本的迁移:scp、ftp、flume
流数据:kafka、flume
需注意:
- 数据格式,属性含异常字符,不同数据库的类型。
- 增量数据如何导入的管理。
- 数据如何更新,更新操作是在导入时候实现,还是后续etl过程实现。
目前实践经验,数据导入sqoop效率最高,datax效率其次取决于所在服务器的性能,kettle具备完整流程管理的机制。
2. 大数据平台能做什么
主要涉及Spark、Mapreduce、Hive、Tensorflow 、Spark mlib 、HBase、 AarangoDB和JanusGraph。
3. 数据分析结果获取
数据结果的快速呈现,主要通过多维数据分析Greenplum,Apache Kylin,ElasticSearch,HBase,Oracle,Mysql实现。
4. 数据分析结果可视化
商务BI软件、ECarts、D3.js
5. 对外提供数据服务、智能化服务
微服务架构,服务上线,服务发布,服务开放等。
點擊查看更多內容
為 TA 點贊
評論
評論
共同學習,寫下你的評論
評論加載中...
作者其他優質文章
正在加載中
感謝您的支持,我會繼續努力的~
掃碼打賞,你說多少就多少
贊賞金額會直接到老師賬戶
支付方式
打開微信掃一掃,即可進行掃碼打賞哦