spark

Spark 开发语言及运行模式介绍

Scala安装

下载 Scala

配置到系统环境变量

配置成功

Spark环境搭建及 wordCount 案例实现

下载 spark

解压编译

spark-shell可执行程序

如何提交应用程序

开启2个即可

./spark-shell --master local[2]

读取输出文件内容

3行数据

按空格拆分

为每个单词赋1,表出现频率

a.map(word => (word,1))

统计

以上操作其实通过一条方法链即可完成!!!

sc.textFile("file:///Volumes/doc/data/hello.txt").flatMap(line => line.split(" ")).map(word => (word,1)).reduceByKey(_+_).collect

GUI 管理界面

访问该地址即可

http://localhost:4040

Flink 概述

• https://flink.apache.org/
  

  

  官网首页

使用 Flink 完成 wordcount 统计

Flink 环境部署

下载

下载镜像到本地

解压

查看官网指南

启动本地的一个 flink

浏览器访问:http://localhost:8081/

使用方法

Beam 概述

• https://beam.apache.org/
  

  

  
  

  

  官网

  
  

  

将 wordCount的 Beam 程序以多种不同 Runner运行

Java 版本快速入门指南

maven 命令执行成功

运行命令

生成文件

查询结果

作者：芥末无疆sss
链接：https://www.jianshu.com/p/4d0341a4d7d7
來源：简书
简书著作权归作者所有，任何形式的转载都请联系作者获得授权并注明出处。