3 回答

TA貢獻1841條經驗 獲得超3個贊
將Mysql遷移到Hbase主要有三種方法:
1、Put API
Put API可能是將數據快速導入HBase表的最直接的方法。但是在導入【大量數據】時不建議使用!但是可以作為簡單數據遷移的選擇,直接寫個代碼批量處理,開發簡單、方便、可控強。
2、MapReduce Job
推薦使用sqoop,它的底層實現是mapreduce,數據并行導入的,這樣無須自己開發代碼,過濾條件通過query參數可以實現。
Sqoop是一款開源的工具,主要用于在Hadoop(Hive)與傳統的數據庫(mysql、postgresql...)間進行數據的傳遞,可以將MySQL中的數據導進到Hadoop的HDFS中,也可以將HDFS的數據導進到Mysql中。
參考Index of /docs。
采用如下命令:sqoop import
--connect jdbc:mysql://localhost/db
--username root -P
--table mysql_order
--columns "id,name"
--hbase-table hbase_order
--column-family f
--hbase-row-key id
--query "select id,name from mysql_order where..."
-m 1
3、采用Bulk load裝載數據
bulk-load的作用是用mapreduce的方式將hdfs上的文件裝載到hbase中,對于海量數據裝載入hbase非常有用。
需要將MySQL的表數據導出為TSV格式(因為后面使用Import TSV工具),還需要確保有一個字段可以表示HBase表行的row key。
- 3 回答
- 0 關注
- 1451 瀏覽
添加回答
舉報