0
点赞
收藏
分享

微信扫一扫

SparkSQL-第五章:SparkSQL的运行流程 SparkSQL-第三章:DataFrame入门


Spark是大数据体系的明星产品,是一款高性能的分布式内存迭代计算框架,可以处理海量规模的数据。下面就带大家来学习今天的内容!

一、SparkRDD的执行流程回顾

SparkSQL-第五章:SparkSQL的运行流程 SparkSQL-第三章:DataFrame入门_spark

二、SparkSQL的自动优化

RDD的运行会完全按照开发者的代码执行, 如果开发者水平有限, RDD的执行效率也会受到影响。

而SparkSQL会对写完的代码,执行“自动优化”, 以提升代码运行效率,避免开发者水平影响到代码执行效率。

三、Catalyst优化器

SparkSQL-第五章:SparkSQL的运行流程 SparkSQL-第三章:DataFrame入门_Core_02

SparkSQL-第五章:SparkSQL的运行流程 SparkSQL-第三章:DataFrame入门_Core_03

SparkSQL-第五章:SparkSQL的运行流程 SparkSQL-第三章:DataFrame入门_分布式_04

SparkSQL-第五章:SparkSQL的运行流程 SparkSQL-第三章:DataFrame入门_环境搭建_05

SparkSQL-第五章:SparkSQL的运行流程 SparkSQL-第三章:DataFrame入门_环境搭建_06

SparkSQL-第五章:SparkSQL的运行流程 SparkSQL-第三章:DataFrame入门_spark_07

SparkSQL-第五章:SparkSQL的运行流程 SparkSQL-第三章:DataFrame入门_大数据_08

四、SparkSQL的执行流程

SparkSQL-第五章:SparkSQL的运行流程 SparkSQL-第三章:DataFrame入门_分布式_09

SparkSQL-第五章:SparkSQL的运行流程 SparkSQL-第三章:DataFrame入门_spark_10

举报

相关推荐

0 条评论