-
Flink table 與sql的算子操作
查看全部 -
并行
查看全部 -
demo
查看全部 -
課程大綱
查看全部 -
隨便寫點啥
查看全部 -
Flink Table & SQL API
?
查看全部 -
Flink Table & SQL
在Flink中，相等要使用三個 === 表示
查看全部 -
Flink 示意圖
查看全部 -
Flink1.7.2新特性
（1）支持scala 2.12
? (2) SQL 功能完善
（3）最新kafka連接器
（4）Streaming SQL新增Temporal Tables(時態表)
? ?時態表：記錄了數據發生該表的歷史狀態，該表可以返回特定時間點的表的內容
? (5)Streaming SQL支持模式匹配
? ?Flink CEP是Flink的復雜事件處理庫，允許你在流上定義一系列的模式（pattern）,最終使得你可以方便的抽取? ? ?自己需要的重要的事件處理。抽取自己需要的數據。
（6）Streaming SQL支持更多函數：REPLACE、REPEAT、LIRIM等函數
Blink 開源
阿里巴巴內部Flink 版本Blink已經開源，其最顯著的特點就是強大的sql處理能力??
查看全部 -
kafka?
主題topic---消息分類
查看全部 -
查看消息隊列中消息的列表
bin/kakfa-topics.sh --list --zookeeper localhost:2181
需求：有一個圖書店鋪，需要知道在促銷期間每一本書買了多少
指定消費的位置，從哪里開始消費呢
consumer.setStartFromEarliest();
在上下文中設置source
env.addSource(consumer);
注冊內存表
寫sql
非常重要的知識點：回退更新：
tenv.toRetractStream(result,Row.class).print();
env.execute();
查看全部 -
FlinkSql實戰項目之六十計算中的應用
kafka常用命令
創建消息
bin/kafka-topics.sh --create --zookeeper locahost:2181 --replication-factor 1 --partitions 1 --topic test2
啟動生產者的客戶端
bin/kafka-console-producer.sh --broker-list locahost:9092 --topic test2
啟動消費者的客戶端
bin/kafka-console-consumer.sh --bootstrao-server localhost:9092 --topic test2 --from-beginning
--from-beginning 從頭開始消費消息隊列中的數據
查看全部 -
定義數據結構
（1）獲取上下文環境
?（2）讀取score.csv
（3）注冊成內存表
（4）編寫sql，然后提交執行
? ?(5)結果進行打印
查看全部 -
NBA球星得分王排行榜
誰獲得的得分王頭銜最多
查看全部 -
自定義函數步驟
繼承方法ScalarFunction
覆寫方法Eval
注冊函數
應用
查看全部 -
Flink提供了很多內置函數
? (1)比較函數
（2）邏輯函數
（3）算數函數
（4）字符串處理函數
（5）時間函數
（6）其他
內置函數的演示沒看
查看全部 -
Table和Sql的算子操作
查看全部 -
Flink Table&SQL的編程模型
查看全部 -
核心概念之并行度
Flink 是由多個任務組成（source、transformation和sink）。一個任務由多個并行的實例（線程）來執行，一個任務的并行實例（線程）數目就被稱為該任務的并行度。
并行度的級別，4種
合理設置并行度能極大的提高運行速度
（1）算子級別? ?設置flink的編程API修改，通過調用方法的方式
（2）運行環境級別? ?設置executionEnvironmentk的方法修改并行度
（3）客戶端級別? $FINK_HOME/bin/flink的-p參數，
（4）系統級別 修改$FLINK_HOME/conf/flink-conf.yaml文件
并行度的優先級：算子>運行環境>客戶端>系統
注意：并行度不能大于Slot個數
TaskManager為了對資源進行隔離和增加允許的task數，引入了slot的概念，這個slot對資源的隔離僅僅是對內存進行隔離，策略是均分，比如taskmanager的管理內存是3GB，假如有兩個個slot，那么每個slot就僅僅有1.5GB內存可用
查看全部 -
核心概念之時間
事件時間：是事件創建的事件。它通常由事件中的時間戳描述，例如kafka消息中的生成的時間戳
攝入時間：是事件進入Flink數據流運算符的時間
處理時間：是每一個執行時間操作的算符的本地時間
查看全部 -
Flink1.7.2新特性
（1）支持scala 2.12
? (2) SQL 功能完善
（3）最新kafka連接器
（4）Streaming SQL新增Temporal Tables(時態表)
? ?時態表：記錄了數據發生該表的歷史狀態，該表可以返回特定時間點的表的內容
? (5)Streaming SQL支持模式匹配
? ?Flink CEP是Flink的復雜事件處理庫，允許你在流上定義一系列的模式（pattern）,最終使得你可以方便的抽取? ? ?自己需要的重要的事件處理。抽取自己需要的數據。
（6）Streaming SQL支持更多函數：REPLACE、REPEAT、LIRIM等函數
Blink 開源
阿里巴巴內部Flink 版本Blink已經開源，其最顯著的特點就是強大的sql處理能力??
查看全部 -
flink 支持 Collection/本次文件的讀寫
查看全部 -
Tuple2<String,Integer> flink 特有的數據結構
防御性編程：確保代碼的穩健性
查看全部 -
窗口模式圖
查看全部 -
窗口模式處理
查看全部 -
kafka常用命令
啟動zookeeper
nohup bin/zookeeper -server-start.sh config/zookeeper.properties &
啟動server
nohup /bin/kafka-server-start.sh config/server.properties &
查看topic
bin/kafa-topics.sh --list --zookeeper localhost:2181
創建一個topic
bin/kafka-topics.sh --create --zookeeper localhost:2181 --replication-factor 1 --partitions 1 --topic test
發送數據
bin/kafka-console-producer.sh --broker-list localhost:9092 --topic test
消費數據
bin/kafka-console-consumer.sh --bootstrap-server localhost:9092 --topic test --from-beginning
查看全部
舉報