0
点赞
收藏
分享

微信扫一扫

大数据_Spark框架_快速上手_word count 案例分析---Spark工作笔记0005

少_游 2022-02-14 阅读 47

然后在做案例之前,我们先来去分析一案例。

可以看到左边有两个文件,一个是1.txt,一个是2.txt,每个文件当中都有两句话,一句话是hello scala,一句话是hello spark。我们就是要把这几句话中的单词都统计出来。

要统计出来这两个文件中所出现的单词的频率,

首先我们可以把两个文件中所有的单词都列出来,然后我们把所有的单词,相同的单词放在一块

 

把单词放在一块了以后

然后我们就可以去统计所有单词的数量了

这就是我们实现这个案例的思路;

技术交流QQ群【JAVA,C++,Python,.NET,BigData,AI】:170933152 
CSDN账号:脑瓜凉 
开通了个人技术微信公众号:脑瓜凉,有需要的朋友可以添加相互学习

举报

相关推荐

0 条评论