Spark SQL 到底怎么搭建起來
1 回答
尚方寶劍之說
TA貢獻1788條經驗 獲得超4個贊
一般spark sql用于訪問hive集群的表數據吧？
我們的spark是訪問hive集群的，步驟還是很簡單的，大致如下：
1）安裝spark時需要將hive-site.xml,yarn-site.xml,hdfs-site.xml都拷貝到spark/conf中（yarn-site.xml是因為我們是spark on yarn）
2）編程時用HiveContext，調用sql(...)就好了，如：
val hc = new HiveContext(sc)
hc.sql( "select ..." ) 這里的sql語句自己發揮吧~
不過spark sql穩定性不高，寫復雜語句時partition和優化策略不太合理，小數據量玩一下就好（如spark streaming中使用也還可以），大數據量暫時不建議用~
- 1 回答
- 0 關注
- 971 瀏覽
添加回答
舉報
0/150
提交
取消