源表建有索引，表空間大小目前是117G，用sqoop導入很慢，用了17小時也沒導入完sqoop import --append --connect jdbc:oracle:thin:@192.168.0.11:1521:dw --username *** --password *** --hbase-table table --hbase-row-key MYID --column-family cf --query "select t.*,id_uni_sec_code || to_char(id_position_date,'yyyy') || valuation_port_code ||to_char(id_rec_enddate,'yyyy')||id_pos_status as MYID from table twhere ID_UNI_SEC_CODE IS NOT NULL AND ID_POSITION_DATE IS NOT NULL AND VALUATION_PORT_CODE IS NOT NULL AND ID_REC_ENDDATE IS NOT NULL AND ID_POS_STATUS IS NOT NULL AND \$CONDITIONS" -m 1
1 回答
繁星點點滴滴
TA貢獻1803條經驗 獲得超3個贊
使用sqoop工具。
1、在行鍵選擇那里，通過用“”，將需要做行鍵的多個列寫在一起就可以了。
2、例如要將a和b列同時做行鍵，那么--hbase-row-key "a,b"就可以了。
Sqoop是一款開源的工具，主要用于在Hadoop(Hive)與傳統的數據庫(mysql、postgresql...)間進行數據的傳遞，可以將一個關系型數據庫（例如 ： MySQL ,Oracle ,Postgres等）中的數據導進到Hadoop的HDFS中，也可以將HDFS的數據導進到關系型數據庫中。
添加回答
舉報
0/150
提交
取消