前言:
从10年开始从事数仓岗位,转眼已经十几年了,这些年一直在互联网行业,最近一份工作跳到了大厂,也混到了相当于阿里P8的级别,最近一两年,面试的应届生、毕业一两年的小孩,问起他们对大数据方面工作的理解,大部分都了解的不够全面和深入,心想着这些会影响他们的方向选择和职业规划,也许会影响人的一生,所以趁五一在家不忙,打算把我理解的一些知识,在不违反公司保密条例的情况下分享给大家,期望大家少走一点弯路,选择到自己满意的岗位。
目录:
本文大概会分以下几部分:
1、大数据相关岗位介绍
2、数仓(数据仓库工程师)是做什么的?
3、数仓的发展方向
4、数仓需要具备的技能
正文:
大数据相关岗位介绍
从底往上看。
第一类:研发工具、做工具。
职位1:引擎研发工程师, 也有叫大数据开发工程师。
职责:研发各类计算、存储引擎。如常见的腾讯云、阿里云、flink、spark、hive 等。
研发工具:通常使用java,据说也有C/C++。
背景要求:硕士毕业为主,计算机相关专业,这类人通常智商较高、国外引入的人才相对较多,待遇和级别也较高。
特点:接触业务较少、对计算机能力要求非常高,英文好,计算机能力强、数学一般、不擅长沟通,又想从事数据相关工作的同学可以尝试这个方向。
职位2:调度工具开发工程师、元数据管理、数据治理等工具开发工程师。
职责:研发各类大数据相关的工具,如:数据介入工具(采集工具)、数据加工工具(调度工具)、数据运维工具(质量管理工具、数据治理工具)、数据消费工具(报表、标签、元数据管理工具)等
研发工具:基本上都是java
背景要求:本科、硕士都有,较少见到国外引入人才
特点:接触业务较少,对计算机能力要求一般,数学一般、期望从事数据相关工作的同学可以考虑,因各类工具排期比较紧凑,加班较多