编 辑:彭文华
彭友们好,我是老彭。好长时间没刷脉脉了。最近有个彭友喊我去围观一个帖子:
emmmmmmm,居然有332条留言,这老彭得围观啊!加班之余,老彭把帖子刷了一下,还是有点意思的。
数仓围城
嗯,老彭选择几个精彩的回帖,各位彭友跟着老彭一起围观一下:
这位彭友讲对了一半。技术也是要滴,而且还是很重要的一环。但是业务也是非常非常重要滴。
所以想要了解一个公司的数据情况,找开发是不行滴,找数仓团队准没错。上懂业务,下晓数据。
这个哥们其实说的现象,其实就是数仓技术含量的体现所在了。这玩意跟炒菜一样,不会炒菜的,倒点水进去反正也能熟,吃不死人。但是但凡会做菜的,隔壁小孩的饭都要多吃两碗。
没有规范、分层不合理、建模考虑不周,导致的结果就是各种爆炸,最后就没法管理,陷入在“人工提数”的汪洋大海中。
讲真,不少厂子里的数仓还真是前面半句话说的那样。但后面的“归根结底”不太正确。
大家都知道数仓实际上做的是业务和数据之间的“翻译”工作,互联网公司的业务tmd恨不得一天一变!然后数据库管理也是一塌糊涂,经常是数据结构变了,数仓这边不知道。
所以,这个锅,数仓Leader不背!上面业务变,下面数据变,关键还得马上出数,你让我咋弄?只能不断的拖宽表啊...
这哥们说的东西很多人不太认同,他还有一句话“吃大米没必要研究杂交水稻”。话是没错,但其实也不必深究这些,大家都是各自围城而已。
在大厂核心部门,大家用的都是开源的产品,面对的是海量用户几乎不间断滴访问,所以必须要保证高可靠、高可用。
开源工具,尤其是新版本有点小问题是很正常的,这时候可能不能等开源产品版本更新了,所以就要求核心团队 必须要有改源码的能力。
像BAT、JMD等大厂都在开源前线作战,研究底层技术不是跟风,而是必须的。
数仓迷思
其实类似的讨论,已经成为“年经贴”了。去年大概也是3、4月的时候,也是在脉脉,同样有一个讨论:
嘿嘿,没错,去年我也写了一篇文章专门解析这个问题,感兴趣的可以点进去瞅瞅:阿里的《大数据之路》吹牛了?
我忘记是在那个地方看到一篇杂文,说老农修农具,现在冶炼技术这么发达,为啥锄头不做一个全钢的,那不是更坚固么?反而还得是前面是铁锄头,后面是木头长柄?
我是下过地的。不用钢管锄头的原因,是因为钢管锄头真的不好用。原因有三:
1、太圆了,会转,老农作木头柄一般会弄成卵形的;
2、传导性太强,太热了烫手,太用力了震得麻手,木头柄就没这毛病;
3、会变形,更不好用力了,而且坏了不好修,木头柄不会变形,修起来很方便。
所以还是那句话:不要小看了任何一件事情。如果你觉得这件事很简单,那么应该是进入了“所知障”,对这件事情认识不足。
爱因斯坦做过一个比喻,如果说每个人的认识是一个圆,那么这个圆越大,圆内的面积也就越大。但是同样,圆的周长也就越长,对于圆之外的内容接触的也就越多。所以,知道的越多,不知道的也更多。
苏格拉底也说过类似的话:“我拥有的知识越多,我越觉得无知 ”。
所以无论是什么,不用那么迷茫,也不必轻视,好好学习,刻苦钻研,不断磨练自己的技术就对了,肯定没坏处。
如何学习
在现在知识爆炸的时代,学习一项技能还是有很多便利条件的。不像我们那时候,只能啃很生涩的《数据仓库工具箱》之类的书,看的云里雾里的。
现在有很多像老彭一样的知识博主,免费给大家贡献知识,有写公众号的,有做视频的,甚至有些连代码都给你准备好了,就等着你去研究、去讨论。
类似的课程也有很多,白嫖都能找到不少,花点钱更是能找到一大堆资料。
所以,如果你需要学习数仓,建议走以下路线:
1、写文章。输出倒逼输入,这是最佳学习方法。参考“费曼学习法”
2、实战。毛主席有一段名言:“读书是学习,使用也是学习,而且是更重要的学习。从战争中学习战争,这是我们的主要方法”。不实战,哪怕你把《数据仓库工具箱》背会了都没用。
3、提真问题。思考,不断地思考,这样才能提出真问题。哪怕这个问题看起来非常非常的笨。
看到这里,有些彭友会很奇怪:老彭,你不是要给我推荐课程么?不是要给我资料么?不是要给我**么?
我给你资料,是为了提升你工作效率的。
我推荐课程,是为了降低你学习难度的。
而这些都跟提升你学习效率、提高能力增长曲线没关系。如果单纯的听,那这个效率是最低的。
而单纯的收藏资料,就会变成白嫖怪、伸手党、收藏癖,坚决反对这类行为!浪费时间。
排版 | 老彭
审校 主编 | 老彭