0
点赞
收藏
分享

微信扫一扫

Spark Core-第二章：RDD 编程入门Spark Core-第一章： RDD详解

爪哇驿站 2023-01-12 阅读 116
spark大数据scala环境搭建开发环境搭建系统/运维


Spark是大数据体系的明星产品，是一款高性能的分布式内存迭代计算框架，可以处理海量规模的数据。下面就带大家来学习今天的内容！

一、程序入口 SparkContext对象

Spark RDD 编程的程序入口对象是SparkContext对象(不论何种编程语言)，只有构建出SparkContext, 基于它才能执行后续的API调用和计算。本质上, SparkContext对编程来说, 主要功能就是创建第一个RDD出来。

Spark Core-第二章：RDD 编程入门Spark Core-第一章： RDD详解_spark

二、 RDD的创建

RDD的创建主要有2种方式：

• 通过并行化集合创建 ( 本地对象 转 分布式RDD)

• 读取外部数据源 ( 读取文件 )

Spark Core-第二章：RDD 编程入门Spark Core-第一章： RDD详解_开发环境搭建_02

Spark Core-第二章：RDD 编程入门Spark Core-第一章： RDD详解_开发环境搭建_03

Spark Core-第二章：RDD 编程入门Spark Core-第一章： RDD详解_大数据_04

Spark Core-第二章：RDD 编程入门Spark Core-第一章： RDD详解_环境搭建_05

Spark Core-第二章：RDD 编程入门Spark Core-第一章： RDD详解_环境搭建_06

Spark Core-第二章：RDD 编程入门Spark Core-第一章： RDD详解_大数据_07

Spark Core-第二章：RDD 编程入门Spark Core-第一章： RDD详解_spark_08

Spark Core-第二章：RDD 编程入门Spark Core-第一章： RDD详解_spark_09

三、 RDD 算子

Spark Core-第二章：RDD 编程入门Spark Core-第一章： RDD详解_scala_10

Spark Core-第二章：RDD 编程入门Spark Core-第一章： RDD详解_开发环境搭建_11

Spark Core-第二章：RDD 编程入门Spark Core-第一章： RDD详解_环境搭建_12

四、常用Transformation算子

Spark Core-第二章：RDD 编程入门Spark Core-第一章： RDD详解_大数据_13

Spark Core-第二章：RDD 编程入门Spark Core-第一章： RDD详解_大数据_14

Spark Core-第二章：RDD 编程入门Spark Core-第一章： RDD详解_scala_15

Spark Core-第二章：RDD 编程入门Spark Core-第一章： RDD详解_开发环境搭建_16

Spark Core-第二章：RDD 编程入门Spark Core-第一章： RDD详解_大数据_17

Spark Core-第二章：RDD 编程入门Spark Core-第一章： RDD详解_scala_18

Spark Core-第二章：RDD 编程入门Spark Core-第一章： RDD详解_开发环境搭建_19

Spark Core-第二章：RDD 编程入门Spark Core-第一章： RDD详解_spark_20

Spark Core-第二章：RDD 编程入门Spark Core-第一章： RDD详解_开发环境搭建_21

Spark Core-第二章：RDD 编程入门Spark Core-第一章： RDD详解_大数据_22

Spark Core-第二章：RDD 编程入门Spark Core-第一章： RDD详解_开发环境搭建_23

Spark Core-第二章：RDD 编程入门Spark Core-第一章： RDD详解_大数据_24

Spark Core-第二章：RDD 编程入门Spark Core-第一章： RDD详解_开发环境搭建_25

Spark Core-第二章：RDD 编程入门Spark Core-第一章： RDD详解_scala_26

Spark Core-第二章：RDD 编程入门Spark Core-第一章： RDD详解_scala_27

Spark Core-第二章：RDD 编程入门Spark Core-第一章： RDD详解_spark_28

Spark Core-第二章：RDD 编程入门Spark Core-第一章： RDD详解_开发环境搭建_29

Spark Core-第二章：RDD 编程入门Spark Core-第一章： RDD详解_环境搭建_30

五、 常用 Action 算子

Spark Core-第二章：RDD 编程入门Spark Core-第一章： RDD详解_大数据_31

Spark Core-第二章：RDD 编程入门Spark Core-第一章： RDD详解_大数据_32

Spark Core-第二章：RDD 编程入门Spark Core-第一章： RDD详解_scala_33

Spark Core-第二章：RDD 编程入门Spark Core-第一章： RDD详解_spark_34

Spark Core-第二章：RDD 编程入门Spark Core-第一章： RDD详解_环境搭建_35

Spark Core-第二章：RDD 编程入门Spark Core-第一章： RDD详解_环境搭建_36

Spark Core-第二章：RDD 编程入门Spark Core-第一章： RDD详解_大数据_37

Spark Core-第二章：RDD 编程入门Spark Core-第一章： RDD详解_scala_38

Spark Core-第二章：RDD 编程入门Spark Core-第一章： RDD详解_环境搭建_39

Spark Core-第二章：RDD 编程入门Spark Core-第一章： RDD详解_环境搭建_40

Spark Core-第二章：RDD 编程入门Spark Core-第一章： RDD详解_scala_41

Spark Core-第二章：RDD 编程入门Spark Core-第一章： RDD详解_spark_42

Spark Core-第二章：RDD 编程入门Spark Core-第一章： RDD详解_环境搭建_43

Spark Core-第二章：RDD 编程入门Spark Core-第一章： RDD详解_环境搭建_44

六、分区操作算子

Spark Core-第二章：RDD 编程入门Spark Core-第一章： RDD详解_环境搭建_45

Spark Core-第二章：RDD 编程入门Spark Core-第一章： RDD详解_开发环境搭建_46

Spark Core-第二章：RDD 编程入门Spark Core-第一章： RDD详解_环境搭建_47

Spark Core-第二章：RDD 编程入门Spark Core-第一章： RDD详解_开发环境搭建_48

Spark Core-第二章：RDD 编程入门Spark Core-第一章： RDD详解_开发环境搭建_49

Spark Core-第二章：RDD 编程入门Spark Core-第一章： RDD详解_环境搭建_50

Spark Core-第二章：RDD 编程入门Spark Core-第一章： RDD详解_scala_51

七、面试题: groupByKey和reduceByKey的区别

Spark Core-第二章：RDD 编程入门Spark Core-第一章： RDD详解_scala_52

Spark Core-第二章：RDD 编程入门Spark Core-第一章： RDD详解_spark_53

Spark Core-第二章：RDD 编程入门Spark Core-第一章： RDD详解_开发环境搭建_54

举报
0 条评论