0
点赞
收藏
分享

微信扫一扫

SparkSQL-第四章:SparkSQL函数定义SparkSQL-第三章:DataFrame入门


Spark是大数据体系的明星产品,是一款高性能的分布式内存迭代计算框架,可以处理海量规模的数据。下面就带大家来学习今天的内容!

一、SparkSQL 定义UDF函数

SparkSQL-第四章:SparkSQL函数定义SparkSQL-第三章:DataFrame入门_Core

SparkSQL-第四章:SparkSQL函数定义SparkSQL-第三章:DataFrame入门_环境搭建_02

SparkSQL-第四章:SparkSQL函数定义SparkSQL-第三章:DataFrame入门_scala_03

方式1语法:
udf对象 = sparksession.udf.register(参数1,参数2,参数3) 参数1: UDF名称,可用于SQL风格
参数2:被注册成UDF的方法名
参数3:声明UDF的返回值类型
udf对象: 返回值对象,是一个UDF对象,可用于DSL风格

方式2语法:
udf对象 = F.udf(参数1, 参数2)
参数1: 被注册成UDF的方法名
参数2: 声明UDF的返回值类型
udf对象: 返回值对象,是一个UDF对象,可用于DSL风格

其中F是:

  • from pyspark.sql import functions as F
  • 其中,被注册成UDF的方法名是指具体的计算方法,如:
  • def add(x, y): x + y
  • add就是将要被注册成UDF的方法名

SparkSQL-第四章:SparkSQL函数定义SparkSQL-第三章:DataFrame入门_scala_04

SparkSQL-第四章:SparkSQL函数定义SparkSQL-第三章:DataFrame入门_scala_05

SparkSQL-第四章:SparkSQL函数定义SparkSQL-第三章:DataFrame入门_spark_06

SparkSQL-第四章:SparkSQL函数定义SparkSQL-第三章:DataFrame入门_大数据_07

SparkSQL-第四章:SparkSQL函数定义SparkSQL-第三章:DataFrame入门_Core_08

二、SparkSQL 使用窗口函数

SparkSQL-第四章:SparkSQL函数定义SparkSQL-第三章:DataFrame入门_Core_09

SparkSQL-第四章:SparkSQL函数定义SparkSQL-第三章:DataFrame入门_环境搭建_10

SparkSQL-第四章:SparkSQL函数定义SparkSQL-第三章:DataFrame入门_Core_11

举报

相关推荐

SparkSQL-性能调优

0 条评论