dp专题（三）

Spark WordCount实验一

启动spark

1. 数据准备

 创建建数据文件夹

进入data文件夹

创建文本文件

并查看是否创建成功

文件内容

查看文件目录

启动pyspark

3、输入代码

从本地读入文本数据

读入1中创建好的data.txt文本文件。

并计算打印结果

Spark WordCount实验二

切工作目录到Downloads文件夹下, 并用用vim命令新建data.txt

编写代码

并把.py文件传输到Linux上

提交应用

切换到spark-submit所在目录下，然后提交wordcount.py代码。

运行结果

总体还是比较简单就练习如何使用spark-submit命令提交独立的python程序时最后的输出wordcount01.py时有点问题