-
spark開發環境搭建
scala安裝：
????????默認安裝選項會自動配置環境變量。
????????注意spark和scala的版本匹配問題
查看全部 -
課程小結
sprak下載、安裝
spark shell操作
查看全部 -
spark安裝
如何修改日志級別【找到log4j.properties,如果不是，則應該拷貝log4j.properties.temp。。。文件，命名為log4j.properties，之后再修改日志級別即可?！?/p>
????????????????log4j.rootCategory=WARN,console
查看全部 -
spark 安裝
例子：
????????如何加載文件并對文件進行相關的操作。
查看全部 -
spark 安裝
scala shell：
????????????bin/spark-shell
查看全部 -
spark安裝
python shell：
????????????bin/pyspark
查看全部 -
spark安裝
spark的shell，
處理分布在集群上的數據。
spark把數據加載到節點的內存中，因此分布式處理可在秒級完成。
快速使迭代式計算、實時查詢、分析一般能夠在shells中完成。
提供python shells和Scala shells。
查看全部 -
spark安裝
spark目錄介紹
查看全部 -
spark的安裝，
spark下載：http://spark.apache.org/downloads.html
搭建spark不需要Hadoop，如有Hadoop集群，可下載相應的Hadoop對應的spark安裝即可。
查看全部 -
spark的安裝【必須手動安裝，原來scala寫的spark是運行在jvm上的?！?/p>
查看全部 -
spark和Hadoop的比較，各善其職即可。
spark不具有hdfs的存儲能力，要借助hdfs等持久化數據。
查看全部 -
spark應用場景
基于內存處理，時效性要求很高，處理時間在幾秒鐘到幾分鐘不等。
查看全部 -
Hadoop應用場景
中間處理結果會存在硬盤上，處理時間在幾分鐘到幾小時不等。
查看全部 -
spark的課程小結
spark歷史
spark組件
spark應用場景
查看全部 -
spark的組件
組件的優點，機密集成的優點，緊密集成，節省了各個組件組合使用時的部署，測試等時間。
向spark增加新的組件時，其他組件，可立刻想用新組件的功能。
查看全部
舉報