Spark交互式工具spark-shell-CFANZ编程社区

Spark交互式工具spark-shell

李雨喵

阅读 123

2022-06-20

REPL

Spark交互式工具spark-shell_数据

Spark REPL

Spark交互式工具spark-shell_数据_02

Spark shell

Spark交互式工具spark-shell_spark_03

下面我们启动一下（我这里搭建的是3节点集群）

Spark交互式工具spark-shell_spark_04

Spark交互式工具spark-shell_hdfs_05

Spark交互式工具spark-shell_spark_06

Spark交互式工具spark-shell_数据_07

Spark交互式工具spark-shell_spark_08

Spark交互式工具spark-shell_数据_09

Spark交互式工具spark-shell_spark_10

sc.后面按TAB键可以把提示调出来

Spark交互式工具spark-shell_hdfs_11

查看hdfs上文件内容

Spark交互式工具spark-shell_hdfs_12

Spark交互式工具spark-shell_hdfs_13

Spark交互式工具spark-shell_数据_14

这个数据从这里下载的 https://www.sogou.com/labs/resource/q.php

Spark交互式工具spark-shell_spark_15

试下读下里面的数据

Spark交互式工具spark-shell_数据_16

这个可以求出有多少行

Spark交互式工具spark-shell_hdfs_17

Spark交互式工具spark-shell_spark_18

相关推荐
爱做梦的老巫婆
 spark-shell使用
爱做梦的老巫婆 127 0 0
乱世小白
 Spark-shell例子
乱世小白 220 0 0
kiliwalk
 Hudi Spark-Shell 实战
kiliwalk 213 0 0
愚鱼看书说故事
 Spark-shell执行wordcount案例
愚鱼看书说故事 167 0 0
cnlinkchina
 Spark-Shell使用Scala的版本
cnlinkchina 13 0 0
霍华德
 Windows下spark能运行但打不开spark-shell
霍华德 84 0 0
代码敲到深夜
 Azure - 机器学习：使用 Apache Spark 进行交互式数据整理
代码敲到深夜 26 0 0
kiliwalk
 0856-7.1.4-如何使用spark-shell操作Kudu表
kiliwalk 183 0 0
北冥有一鲲
 java交互式工具-Jshell
北冥有一鲲 146 0 0
奔跑的酆
 大数据Spark企业级实战版【学习笔记】-----交互式SQL处理框架Spark SQL
奔跑的酆 202 0 0

精彩评论（0）