-
spark的組件
cluster? managers,集群管理,單獨調度器
查看全部 -
spark的組件
graphx,處理圖的庫
查看全部 -
spark的組件
mlib,用于機器學習,是集群的,而之前的python只用于單機模式
支持集群上的橫向擴展
應用場景,機器學習
查看全部 -
spark的組件
spark streaming,類似storm? 用作實時流數據操作
查看全部 -
spark的組件
spark sql就像hive sql、mysql一樣
查看全部 -
spark的組件,spark core
查看全部 -
spark歷史
轉到apache項目,成為頂級項目
查看全部 -
spark歷史介紹,引入內存存儲
查看全部 -
spark課程大綱,需要動手搭建一套spark大數據平臺
查看全部 -
spark是高度開放的,能很好的整合Hadoop、kafka等
查看全部 -
spark是通用的,不用再單獨搭建批處理、交互查詢和流處理等,即包括了Hadoop和sorm等功能。
查看全部 -
大數據 spark的特點
查看全部 -
RDDS基本操作之Transfrormation
查看全部 -
安裝版本要求:
Spark1.6.2 - Scala 2.10
Spark2.0.0 - Scala 2.11
wget https://archive.apache.org/dist/spark/spark-2.3.2/spark-2.3.2-bin-hadoop2.6.tgz
解壓:tar -zxvf sp.....
下載Scala: wget https://downloads.lightbend.com/scala/2.10.5/scala-2.10.5.tgz
解壓:tar -zxvf xxxxxx
之后下載:IntelliJ IDEA https://www.jetbrains.com/idea/
IntelliJ IDEA注冊碼:http://idea.lanyus.com/
查看全部 -
map函數查看全部
舉報