亚洲在线久爱草,狠狠天天香蕉网,天天搞日日干久草,伊人亚洲日本欧美

SparkSQL、HiveSQL、FlinkSQL的解析和優化器

這節課講第2個案例： 數據源 （source）和?目的地 （sink）? 都是 kafka?

工程里加 POM 依賴：?

- flink table planner?

- flink connector files

- flink json

- hadoop client

~~~~~~~~~~~

教程里的版本是? 1.15

演示的代碼是3個 sql ，創建 2個表，執行 insert 語句：??

file_source? 數據來源（json 文件）

print_sink? 結果打印到控制臺 （print 控制臺）

• 先啟動 hdfs 集群，才能在 file_source 調用? hdfs://bigdata01:9000/stu.json ）

• 對比 stream 模式 和 batch 模式 ， steam 是一條條記錄產生，而 batch是全部記錄一次產生（離線模式）

將 sql 語句轉換為 ast 抽象語法樹，操作 ast 就能把 sql 的計算邏輯轉化為代碼（calcite 引擎）

1. sql parser??

2. sql validate

3. 生成 logical plan

4. 生成 optimized logical plan

5. 生成 flink physical plan

6. 生成 flink execution plan 轉換為算子代碼
   

hive SQL, spark SQL? 都是基于離線數據

flink SQL 可支持實時數據

中間的 SQL 會動態觸發，每次輸入表（動態表）新增數據，就會觸發1次，更新輸出表的結果數據

（右邊相當于自動在做 insert 和 update ）