sparksql 表定義 存儲在哪
sparksql 表定義 存儲在哪
慕虎7371278
2018-11-05 05:04:19
TA貢獻1860條經驗 獲得超8個贊
Spark SQL是支持在Spark中使用Sql、HiveSql、Scala中的關系型查詢表達式。它的核心組件是一個新增的RDD類型SchemaRDD,它把行對象用一個Schema來描述行里面的所有列的數據類型,它就像是關系型數據庫里面的一張表。它可以從原有的RDD創建,也可以是Parquet文件,最重要的是它可以支持用HiveQL從hive里面讀取數據。
下面是一些案例,可以在Spark shell當中運行。
首先我們要創建一個熟悉的Context,熟悉spark的人都知道吧,有了Context我們才可以進行各種操作。
舉報