ETL职位现状和未来发展
- 技术栈
- Hadoop相关基本原理和操作：hdfs，yarn，mr
- OLTP：mysql，oracle，pg， etc…
- OLAP：Kylin ， clickhouse，presto，impala ，TD，Greenplum
- 离线计算：hive ， Hbase ，spark
- 流计算： storm ， spark streaming ，flink ， Kafka streaming
- flume，sqoop等数据采集工具
- Kafka等MQ产品，ES相关，Redis，Mongo等noSQL DB
- ETL任务调度相关产品
- Shell/Python等脚本语言开发能力
- Java/Scala等编程能力
- alicloud，AWS等相关产品
- 数据结构和算法
- 数仓数据湖等数据平台等
- 一定的数据建模能力和数据分析能力
- 基础的数据组件运维能力
- 待补充…
