主题:大数据的环境安装是大数据开发应该不耻去学的一件事
本文面向读者:工作了3个月的大数据开发工程师,或者和大数据工程师打交道的职场人员,例如,数据分析人员。
01. 大数据开发做了好几年,还不会安装大数据环境?
是的,大数据开发做了好几年仍然不会安装环境,这样的人不在少数。工作中大家都是在搭建好的环境下使用,或者使用云环境来搭建一整套环境,用不着去搭建大数据环境。
有一套自己的大数据环境,对于自己的开发或者学习以及工作中的一些事情的处理无疑是好的。
作为一个大数据开发工作好几年的人,有时候就感觉自己好像会,又好像不会,你说我不会安装环境吧,我又在使用,你说我会吧,你真要我安装,可能2、3天也安装不好,想摆脱如此的困境,故写下来这个专栏,不断迭代,更快速的安装好自己的环境,更好的去解决问题。
02. 哪些大数据组件的安装?
网络上有一大堆关于大数据是什么,然后有什么用的文章,这些对于我们开发人员来说平时工作有用吗?我想用处不大。
如何快速选择一个组件,快速去开发,然后去达成功能才是我们需要的。
自己工作了几年,却发现没什么积累,和刚接触大数据的水平差不多,究其原因是因为没有对项目中可复用的东西进行沉淀,没有系统的提升自己的开发能力,用刻意练习的方式,去提高自己的认知,这是我写作的原始出发点,可能刚开始的文章比较幼稚,但我会坚持一直写下去。
关于组件是什么,直接看官网即可,节省大家时间,或者以后自己找文章的时间,将官网的地址放到这里。而且官网也是会及时更新的,比网络上的文章靠谱多了。英文看不懂,用Google翻译即可~
组件 | 官网 |
---|---|
hadoop | Apache Hadoop |
spark | Apache Spark™ - Unified Engine for large-scale data analytics |
03. 会跟着版本更新文章吗?
组件的版本很多,不同版本的差异可能也比较大。大数据框架的版本是不断迭代的,个人使用比较好的方式是直接使用最新的稳定版本即可。
有些公司可能还停留在使用以前版本,不过使用了新版本,等稳定后公司还会有更新的,公司使用旧版本是因为有技术的兼容性考虑在里面,更改技术的版本涉及到的影响比较多,而个人是没有这个问题的,使用最新的稳定版本可以提前学一些新技术,。
04. 搭建了环境之后呢?
搭建环境之后无疑是要开始使用,开始使用才有意义,单纯为了搭建环境而搭建环境也不是我们想要的目的。对软件工具的使用分2部走,安装 + helloworld,之后是更深入的东西呢。
即使工作了好几年不会搭建环境的大数据开发也大有人在,但我们可以去学,即使我这样的,工作3、4年的开发,去重头学我也不觉得可耻,最怕的是你厌恶现状,又不想改变。
小结
开始改变,为什么说晚呢?即使30岁今年的我,有4年的大数据开发经验,依旧对大数据简单的环境安装处于懵懂的状态,有些知识,并不会随着你年龄的增长而增长,需要自己付出努力。
把我知道的分享给大家,节省读者对知识和问题复现的时间,这是坚持写作的第1天。欢迎评论,留下您宝贵的感想和提问(错别字的问题也可以回复,文章中的每个字都会去认真的修改,如写代码一样,保持严谨)。
如果您看完没有任何感想和问题,那说明浪费了您的时间,可以说明一下你为什么看到最后仍然没有任何问题,我也会不断改进,谢谢。