-
開發第一個spark程序： wordcount
設置應用名，val conf=new sparkconf（）。setappname（“”）
設置上下文根，val sc =new sparkcontext（conf）
加載文件，val input=sc。textfile（“”）
通過分隔符獲取數據行（壓扁操作），val lines = input。flatmap（line=》line。split（“”））
獲取單詞個數count，轉換成map對象，val count= lines。map（word=》（word，1））。reducebykey{case （x，y）=》x+y}
輸出結果，val output=count。saveastextfile（“”）
查看全部 -
填寫類名和類型，類型選擇object。
查看全部 -
開發第一個spark程序，創建scala類，kotlin file、class
查看全部 -
開發第一個spark程序，需要在scala項目的build.sbt文件下配置項目名稱、版本號、scala版本以及相關的依賴。
查看全部 -
開發第一個spark程序，計算單詞的個數。
查看全部 -
設置ssh免密登錄的操作命令：
查看全部 -
開發第一個spark程序
配置ssh無密登錄：
? ssh-keygen
?.ssh目錄下? cat xxx_rsa.pub > authorized_keys
chmod 600 authorized_keys
查看全部 -
課程小結
scala下載、安裝
idea下載安裝
插件安裝
查看全部 -
設置idea光標所在行背景顏色。
查看全部 -
設置idea字體，先執行save as，再手動修改size大小。
查看全部 -
設置idea的顏色，主題選擇darcula。
查看全部 -
創建scala項目，
file---new---project---scala----sbt【打包】
然后選擇對應的版本，
如：jdk 1.8? ? sbt 0.13.8? ?scala 2.10.5
查看全部 -
spark開發環境搭建
????版本匹配問題
????????????scala2.10.5、jdk1.8、spark1.6.2、sbt0.13.8
查看全部 -
spark開發環境搭建
scala插件安裝：
查看全部 -
spark開發環境搭建
intellij idea的下載、安裝：
????idea注冊碼鏈接：http://idea.lanyus.com
查看全部
舉報