啟動Hive報錯,需要修改MySQL數據庫權限,使其能夠遠程登錄:
grant all privileges on hive.* to root@'%' identified by '123456';
若報以下錯誤:FAILED: Execution Error, return code 1 from org.apache.hadoop.hive.ql.exec.DDLTask...,則需要修改MySQL字符集:
alter database hive character set latin1;
grant all privileges on hive.* to root@'%' identified by '123456';
若報以下錯誤:FAILED: Execution Error, return code 1 from org.apache.hadoop.hive.ql.exec.DDLTask...,則需要修改MySQL字符集:
alter database hive character set latin1;
2018-06-16
Hive 有三種安裝模式:
1. 嵌入模式:元數據信息存儲在 Hive 自帶的 Apache Derby 數據庫中;只允許創建一個連接;多用于 demo。
2. 本地模式:與嵌入模式很類似,只是元數據信息存儲在另外的數據庫(通常是 MySQL)中;MySQL 數據庫與 Hive 數據倉庫運行在同一臺物理機器上;多用于開發和測試。
3. 遠程模式:與本地模式很類似,只是元數據信息存儲在另外一臺機器上的 MySQL 數據庫中;允許創建多個連接;==推薦在生產環境中使用==。
1. 嵌入模式:元數據信息存儲在 Hive 自帶的 Apache Derby 數據庫中;只允許創建一個連接;多用于 demo。
2. 本地模式:與嵌入模式很類似,只是元數據信息存儲在另外的數據庫(通常是 MySQL)中;MySQL 數據庫與 Hive 數據倉庫運行在同一臺物理機器上;多用于開發和測試。
3. 遠程模式:與本地模式很類似,只是元數據信息存儲在另外一臺機器上的 MySQL 數據庫中;允許創建多個連接;==推薦在生產環境中使用==。
2018-06-16
Hive 中的元數據包括表名、列名、分區及其屬性、表的屬性(是否為外部表等)、表的數據所在的目錄等。
Hive 將元數據存儲在數據庫(metastore)中,支持 Apache Derby、MySQL、Oracle 等數據庫,元數據默認存儲在 Apache Derby 中。
Hive 將元數據存儲在數據庫(metastore)中,支持 Apache Derby、MySQL、Oracle 等數據庫,元數據默認存儲在 Apache Derby 中。
2018-06-16
## OLTP 與 OLAP
當今的數據處理大致可以分成兩大類:聯機事務處理OLTP(on-line transaction processing)、聯機分析處理OLAP(On-Line Analytical Processing)。
- OLTP 是傳統的關系型數據庫的主要應用,主要是一些事務處理,例如銀行交易,所以 OLTP 也被稱為面向交易的處理系統,其基本特征是顧客的原始數據可以立即傳送到計算中心進行處理,并在很短的時間內給出處理結果。
- OLAP 是數據倉庫系統的主要應用,專門設計用于支持復雜的分析操作,側重決策支持,并且提供直觀易懂的查詢結果。
當今的數據處理大致可以分成兩大類:聯機事務處理OLTP(on-line transaction processing)、聯機分析處理OLAP(On-Line Analytical Processing)。
- OLTP 是傳統的關系型數據庫的主要應用,主要是一些事務處理,例如銀行交易,所以 OLTP 也被稱為面向交易的處理系統,其基本特征是顧客的原始數據可以立即傳送到計算中心進行處理,并在很短的時間內給出處理結果。
- OLAP 是數據倉庫系統的主要應用,專門設計用于支持復雜的分析操作,側重決策支持,并且提供直觀易懂的查詢結果。
2018-06-16