## Hive 數據類型
基本數據類型:
- 整型:tinyint/smallint/int/bifint
- 浮點型:float/double
- 布爾型:boolean
- 字符串型:string/varchar/char
時間類型:
- Date:從 Hive 0.12 開始支持
- Timestamp:從 Hive 0.8 開始支持
復雜數據類型:
- Array:數組類型,由一系列具有相同數據類型的元素組成
- Map:集合類型,鍵值對(key/value)形式,可以通過key來訪問元素
- Struct:結構類型,包含不同數據類型的元素,這些元素可以通過“點語法”訪問元素。
基本數據類型:
- 整型:tinyint/smallint/int/bifint
- 浮點型:float/double
- 布爾型:boolean
- 字符串型:string/varchar/char
時間類型:
- Date:從 Hive 0.12 開始支持
- Timestamp:從 Hive 0.8 開始支持
復雜數據類型:
- Array:數組類型,由一系列具有相同數據類型的元素組成
- Map:集合類型,鍵值對(key/value)形式,可以通過key來訪問元素
- Struct:結構類型,包含不同數據類型的元素,這些元素可以通過“點語法”訪問元素。
2018-06-16
常見的 Hive CLI 命令:
清屏:Ctrl + L 或者 !clear;
查看數據倉庫中的表:show tables;
查看數據倉庫中的內置函數:show functions;
查看表結構:desc tb_name;或describe tb_name
查看 HDFS 上的文件:dfs -ls hdfs_dir;
執行Linux操作系統的命令:!命令;
執行SQL腳本:source SQL文件,與MySQL一樣。
執行HQL語句:select * from tb_name;
清屏:Ctrl + L 或者 !clear;
查看數據倉庫中的表:show tables;
查看數據倉庫中的內置函數:show functions;
查看表結構:desc tb_name;或describe tb_name
查看 HDFS 上的文件:dfs -ls hdfs_dir;
執行Linux操作系統的命令:!命令;
執行SQL腳本:source SQL文件,與MySQL一樣。
執行HQL語句:select * from tb_name;
2018-06-16
啟動Hive報錯,需要修改MySQL數據庫權限,使其能夠遠程登錄:
grant all privileges on hive.* to root@'%' identified by '123456';
若報以下錯誤:FAILED: Execution Error, return code 1 from org.apache.hadoop.hive.ql.exec.DDLTask...,則需要修改MySQL字符集:
alter database hive character set latin1;
grant all privileges on hive.* to root@'%' identified by '123456';
若報以下錯誤:FAILED: Execution Error, return code 1 from org.apache.hadoop.hive.ql.exec.DDLTask...,則需要修改MySQL字符集:
alter database hive character set latin1;
2018-06-16
Hive 有三種安裝模式:
1. 嵌入模式:元數據信息存儲在 Hive 自帶的 Apache Derby 數據庫中;只允許創建一個連接;多用于 demo。
2. 本地模式:與嵌入模式很類似,只是元數據信息存儲在另外的數據庫(通常是 MySQL)中;MySQL 數據庫與 Hive 數據倉庫運行在同一臺物理機器上;多用于開發和測試。
3. 遠程模式:與本地模式很類似,只是元數據信息存儲在另外一臺機器上的 MySQL 數據庫中;允許創建多個連接;==推薦在生產環境中使用==。
1. 嵌入模式:元數據信息存儲在 Hive 自帶的 Apache Derby 數據庫中;只允許創建一個連接;多用于 demo。
2. 本地模式:與嵌入模式很類似,只是元數據信息存儲在另外的數據庫(通常是 MySQL)中;MySQL 數據庫與 Hive 數據倉庫運行在同一臺物理機器上;多用于開發和測試。
3. 遠程模式:與本地模式很類似,只是元數據信息存儲在另外一臺機器上的 MySQL 數據庫中;允許創建多個連接;==推薦在生產環境中使用==。
2018-06-16
Hive 中的元數據包括表名、列名、分區及其屬性、表的屬性(是否為外部表等)、表的數據所在的目錄等。
Hive 將元數據存儲在數據庫(metastore)中,支持 Apache Derby、MySQL、Oracle 等數據庫,元數據默認存儲在 Apache Derby 中。
Hive 將元數據存儲在數據庫(metastore)中,支持 Apache Derby、MySQL、Oracle 等數據庫,元數據默認存儲在 Apache Derby 中。
2018-06-16
## OLTP 與 OLAP
當今的數據處理大致可以分成兩大類:聯機事務處理OLTP(on-line transaction processing)、聯機分析處理OLAP(On-Line Analytical Processing)。
- OLTP 是傳統的關系型數據庫的主要應用,主要是一些事務處理,例如銀行交易,所以 OLTP 也被稱為面向交易的處理系統,其基本特征是顧客的原始數據可以立即傳送到計算中心進行處理,并在很短的時間內給出處理結果。
- OLAP 是數據倉庫系統的主要應用,專門設計用于支持復雜的分析操作,側重決策支持,并且提供直觀易懂的查詢結果。
當今的數據處理大致可以分成兩大類:聯機事務處理OLTP(on-line transaction processing)、聯機分析處理OLAP(On-Line Analytical Processing)。
- OLTP 是傳統的關系型數據庫的主要應用,主要是一些事務處理,例如銀行交易,所以 OLTP 也被稱為面向交易的處理系統,其基本特征是顧客的原始數據可以立即傳送到計算中心進行處理,并在很短的時間內給出處理結果。
- OLAP 是數據倉庫系統的主要應用,專門設計用于支持復雜的分析操作,側重決策支持,并且提供直觀易懂的查詢結果。
2018-06-16