0
点赞
收藏
分享

微信扫一扫

易灵思FPGA开发(一)——软件安装

Spark处理结构化数据:DataFrame、DataSet、SparkSQL

在这里插入图片描述

1. DataFrame:

  • 表示分布式数据集合,以表格的形式存储数据,具有行和列。

在这里插入图片描述

  • 支持丰富的操作和转换(如过滤、选择、聚合等)。

在这里插入图片描述

  • 提供了对数据的高级抽象,简化了对复杂数据处理的操作。
    在这里插入图片描述

在这里插入图片描述
在这里插入图片描述在这里插入图片描述

在这里插入图片描述
在这里插入图片描述

在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述

在这里插入图片描述

在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述

在这里插入图片描述

在这里插入图片描述

在这里插入图片描述

在这里插入图片描述
在这里插入图片描述

2. DataSet:

在这里插入图片描述

  • 结合了RDD的强类型特性和DataFrame的优化特性。

在这里插入图片描述

  • 提供了类型安全的操作,编译时会检查类型错误。

在这里插入图片描述

  • 可以用来处理需要严格类型控制的复杂数据。

3. SparkSQL:

  • 提供SQL查询接口来处理结构化数据。

在这里插入图片描述

在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述

在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述

在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述

在这里插入图片描述

  • 允许用SQL语句直接对DataFrame进行操作。

在这里插入图片描述

  • 支持通过SQL API进行复杂的查询和数据分析。

它们之间的关系:

  • DataFrameDataSet 的一个特定实现,数据类型为 Row

  • DataSet 可以通过 toDF() 转换为 DataFrame,反之亦然。
举报

相关推荐

FPGA开发设计

0 条评论