亚洲在线久爱草,狠狠天天香蕉网,天天搞日日干久草,伊人亚洲日本欧美

為了賬號安全,請及時綁定郵箱和手機立即綁定
已解決430363個問題,去搜搜看,總會有你想問的

將MySQL中大量數據導入到Hbase有什么好的方法

將MySQL中大量數據導入到Hbase有什么好的方法

守著星空守著你 2018-10-02 13:13:45
查看完整描述

1 回答

?
qq_遁去的一_1

TA貢獻1725條經驗 獲得超8個贊

將Mysql遷移到Hbase主要有三種方法:
1、Put API
Put API可能是將數據快速導入HBase表的最直接的方法。但是在導入【大量數據】時不建議使用!但是可以作為簡單數據遷移的選擇,直接寫個代碼批量處理,開發簡單、方便、可控強。
2、MapReduce Job
推薦使用sqoop,它的底層實現是mapreduce,數據并行導入的,這樣無須自己開發代碼,過濾條件通過query參數可以實現。
Sqoop是一款開源的工具,主要用于在Hadoop(Hive)與傳統的數據庫(mysql、postgresql...)間進行數據的傳遞,可以將MySQL中的數據導進到Hadoop的HDFS中,也可以將HDFS的數據導進到Mysql中。
參考Index of /docs。
采用如下命令:sqoop import
--connect jdbc:mysql://localhost/db
--username root -P
--table mysql_order
--columns "id,name"
--hbase-table hbase_order
--column-family f
--hbase-row-key id
--query "select id,name from mysql_order where..."
-m 1
3、采用Bulk load裝載數據
bulk-load的作用是用mapreduce的方式將hdfs上的文件裝載到hbase中,對于海量數據裝載入hbase非常有用。
需要將MySQL的表數據導出為TSV格式(因為后面使用Import TSV工具),還需要確保有一個字段可以表示HBase表行的row key。

查看完整回答
反對 回復 2018-10-25
  • 1 回答
  • 0 關注
  • 2839 瀏覽

添加回答

舉報

0/150
提交
取消
微信客服

購課補貼
聯系客服咨詢優惠詳情

幫助反饋 APP下載

慕課網APP
您的移動學習伙伴

公眾號

掃描二維碼
關注慕課網微信公眾號