亚洲在线久爱草,狠狠天天香蕉网,天天搞日日干久草,伊人亚洲日本欧美

為了賬號安全,請及時綁定郵箱和手機立即綁定
已解決430363個問題,去搜搜看,總會有你想問的

請問該如何將文本文件數據導入hbase中?

請問該如何將文本文件數據導入hbase中?

拉莫斯之舞 2019-10-21 14:10:55
如何將文本文件數據導入hbase中
查看完整描述

3 回答

?
偶然的你

TA貢獻1841條經驗 獲得超3個贊

將Mysql遷移到Hbase主要有三種方法:

1、Put API

Put API可能是將數據快速導入HBase表的最直接的方法。但是在導入【大量數據】時不建議使用!但是可以作為簡單數據遷移的選擇,直接寫個代碼批量處理,開發簡單、方便、可控強。

2、MapReduce Job

推薦使用sqoop,它的底層實現是mapreduce,數據并行導入的,這樣無須自己開發代碼,過濾條件通過query參數可以實現。

Sqoop是一款開源的工具,主要用于在Hadoop(Hive)與傳統的數據庫(mysql、postgresql...)間進行數據的傳遞,可以將MySQL中的數據導進到Hadoop的HDFS中,也可以將HDFS的數據導進到Mysql中。

參考Index of /docs。

采用如下命令:sqoop import

--connect jdbc:mysql://localhost/db

--username root -P

--table mysql_order

--columns "id,name"

--hbase-table hbase_order

--column-family f

--hbase-row-key id

--query "select id,name from mysql_order where..."

-m 1

3、采用Bulk load裝載數據

bulk-load的作用是用mapreduce的方式將hdfs上的文件裝載到hbase中,對于海量數據裝載入hbase非常有用。

需要將MySQL的表數據導出為TSV格式(因為后面使用Import TSV工具),還需要確保有一個字段可以表示HBase表行的row key。



查看完整回答
反對 回復 2019-10-26
  • 3 回答
  • 0 關注
  • 1451 瀏覽

添加回答

舉報

0/150
提交
取消
微信客服

購課補貼
聯系客服咨詢優惠詳情

幫助反饋 APP下載

慕課網APP
您的移動學習伙伴

公眾號

掃描二維碼
關注慕課網微信公眾號