0
点赞
收藏
分享

微信扫一扫

从Spark源码分析如何使用antlr4解析SQL(一)

忍禁 2022-03-27 阅读 55

明确antlr4做了什么工作

1.有两个语法文件:SqlBaseLexer.g4和SqlBaseParser.g4这两个文件在Spark源码的目录是:

spark/sql/catalyst/src/main/antlr4/org/apache/spark/sql/catalyst/parser

Spark SQL最新的源码地址:https://github.com/apache/spark/tree/master/sql​

2.两个语法文件的作用:Lexer用来规定所有的关键字;Parser用来规定SQL语句的具体解析顺序和规则。​

antlr4默认会生成一个递归访问器类,也可以自定义递归访问器。

Spark使用的是自定义递归访问器:AstBuilder.scala。

为什么是递归?
因为存储结构是抽象语法树结构。

什么是抽象语法树?
抽象语法树就是将Parser.g4规定的语法,生成一个使用深度优先算法递归的树形结构。

类似于语言转换中,将语法规则存储起来,用来生成其他代码,比如SQL转java代码、c语言代码等。

抽象语法树存储的是目标语言的方法(function),根据目标语言不同,生成对应语言的语法的function。​

下一节《Spark源码追踪》,关注公众号,点点在看。

如有问题,请留言。

在这里插入图片描述

举报

相关推荐

0 条评论