阶段 | 时间 | 技能 | 输入 | 输出 |
SQL基础 | 8.4-8.8 | 1.表关联方法和特性 2.常用基础函数 3.窗口函数 4.常用优化策略 5.hive数据存储格式及压缩格式和特点 | 1、hive编程指南 2、SQL 必知必会 | 1、学习笔记 2、考试 |
ODEON平台使用 | 8.4-8.8 | 1.sql测试方法 2.workflow维护，报错如何查看 3.workflow如何部署 4.coordinate如何部署 5.如何用金蝉平台运维odeon 6.理解每一步的作用和用意 | 1、odeon帮助文档 2、wiki资料 H-odeon使用QA http://wiki.iflytek.com/pages/viewpage.action?pageId=362322698 | 1、workflow、coordinate任务部署且符合规范 |
数据仓库基础知识 | 8.8-8.15 | 1、数据仓库基本概念了解 2、数据仓库维度表、事实表 3、常用维度建模理论 4、熟悉数据仓库相关规范 | 1、阿里巴巴大数据之路 2、数据仓库生命周期工具箱 | 1、学习笔记 |
HDFS知识学习 | 8.15-8.22 | 1、hadoop集群搭建 2、分布式计算基础知识学习与mr的原理 3、hdfs原理及常见操作、api等知识学习 | 1、学习笔记 | |
java/scala基础知识学习（数据开发必选，分析师选学） | 8.22-8.29 | 1.基础语法 2.代码规范 3.集合使用和特点 4、常见函数编程如隐式转换、闭包、部分函数等概念熟悉 | 1、疯狂java讲义 2、快学scala | 1、学习笔记 2、考试 |
SPARK学习与实践 | 9月 | 1、spark基本概念及原理学习 2、spark core相关知识学习 3、dataframe相关算子学习 4、spark sql学习及常见优化 | 1、学习笔记 | |
KETTLE知识学习 | 1、熟悉kettle相关概念及基本概念 2、基于kettle完成相关的抽取 3、理解全量抽取、增量抽取，半增量的操作方式 4、熟悉其他如datax等相关的数据同步工具 | |||
数据可视化学习与实践 | 1、了解常见的数据可视化手段如powerBI、echart等 2、基于白泽完成可视化制作 3、熟悉白泽的原理及架构 | |||
OLAP相关知识学习 | 1、熟悉olap相关基础知识 2、对常见的olap数据库如clickhouse、kylin、druid有所了解，对每种olap适合的场景有所认识 | |||
HBASE学习与实践 | 1、学习hbase基础知识，及原理 2、搭建hbase集群 3、熟悉常见的hbase操作 | |||
大数据相关算法学习 | 熟悉大数据中bitmap、bloomfilter、倒排索引等常见的算法 对数据压缩算法有一定得了解 | |||
消息队列学习与实践 | 1、kafka 2、zookeeper | |||
数据架构知识学习 | 1、了解常见的数据平台架构涉及的相关组件 2、对lambda、kappa架构有所了解 3、熟悉odeon平台的数据架构 | |||
实战 | 数据仓库建模实践 s1、承担2个以上的数据建模任务 2、按照规范输出相关的文档 3、完成任务的上线及运维 spark编程实践 基于spark完成2个以上任务的开发 flink编程实践 基于flink完成一个特定场景的代码上线 |
