搭建步骤
使用的系统是macOS，搭建步骤如下：
- 下载Spark
下载地址： - 下载后的放置目录：
/Users/anthony/Library - 解压缩：
tar zxvf spark-2.3.0-bin-hadoop2.7.tgz - 移除原来的压缩包：
rm -rf spark-2.3.0-bin-hadoop2.7.tgz - 进入目录：
cd /Users/anthony/Library/spark-2.3.0-bin-hadoop2.7/ - 启动shell
bin/spark-shell
- 在shell依次输入以下语句，观察结果：
scala> val textFile = sc.textFile(“README.md”)
scala> textFile.count()
scala> textFile.first()
scala> val linesWithSpark = textFile.filter(line => line.contains(“Spark”))
scala> textFile.filter(line => line.contains(“Spark”)).count()
Spark 编程的核心概念:通过一个驱动器程序创建一个 SparkContext 和一系列 RDD，然后进行并行操作。
- 运行独立的程序
首先需要安装sbt，sbt之于Scala就像Maven之于Java，用于管理项目依赖，构建项目。macOS只需要执行brew install sbt即可安装完成。