DAMA数据管理|2021年大数据这几个方面非常值得关注
众所周知,通过发掘隐藏在大数据中的价值,可以不断推动大数据产业链中各个环节的发展和成熟。
2021年,大数据已经不仅仅是一个分析工具了,已经开始转变为大数据服务平台了, 大数据对个人和企业的日常工作效率都起着关键作用,了解大数据的趋势对我们的生活至关重要。
以下这几个是非常值得我们关注的方面
一:数据生产要素
由于数据是新型生产要素,具有无限复制、通用性强、流动性高、难确权等特点,传统的资源管理模式无法完全适配,数据要素市场的培育,需要新的制度来提供适宜的土壤,需要在法规、机制、技术等方面大胆创新。
二:数据治理
数据治理的目标是释放数据价值,其核心议题是保障数据安全,推动数据有序管理和流动,提升数据质量。
近期国家各部门密集出台多项数据治理相关政策法规,数据治理重要性日益凸显。
数据治理通过定义数据质量需求、定义数据质量测量指标、定义数据质量业务规则等环节,为深度学习等人工智能技术提供可信的数据输入。
另一方面,人工智能技术的引入提升了数据治理工作的效率,在识别主数据、数据自动分析分级、维护元数据、提升数据质量、辅助数据建模等方面都有重要作用。
三:隐私计算
隐私计算主要分为多方安全计算和可信硬件两大流派,近期多方安全计算技术广受产业关注,多家企业推出了相关产品。
根据信通院测试统计,截至2020上半年,一共有15款多方安全计算产品通过评测,产品化速度明显加快。
四:一体化大数据平台
大数据技术经过10多年的发展,发展出丰富的技术栈,超过100多款开源技术,覆盖查询引擎、计算引擎、存储引擎、数据集成、数据管理等多个方向,每一方向都有多种同类技术可供选择,给企业的集成使用带来了很大挑战。
例如Cloudera的CDP、阿里巴巴的MaxComupte、星环的TDH、华为的FusionInsight,都是一体化大数据平台的典型代表。
五:DataOps
DataOps(数据运营)概念借鉴于DevOps,已经连续两年入选Gartner数据管理的Hype Cycle,DataOps注重数据工程师、数据分析师、数据科学家、业务人员之间的协同,强调利用工具来实现数据生产的自动化,并建立监测和反馈机制,持续改进数据生产流程,最终形成应用的闭环。
六:数据与分析能力的平民化
数据与分析能力的平民化试图为企业的每一个小细胞提供分析决策支持,加快企业整体的创新和决策能力。这就要求企业建设积极的数据文化,搭建简单易用的数据服务和分析工具,容许业务人员发展数据技能并与他人共享成果。其核心能力包括形成按需可得的数据集,简单易操作的分析工具,以及建立完备的数据管控机制。
七:计算与存储分离
存算分离正在成为大数据与云数据库架构变化的趋势。传统的存算一体模式下,数据可以“就地计算”,减少了网络开销,但在能力扩充方面需要同时进行,从而产生了资源浪费。在存算分离架构下,存储层和计算层可以根据需求分别进行扩展,解决了混合计算存储带来资源浪费问题,也可以更好的与云平台融合,适应云计算的发展趋势。
八:分布式数据库
进入2020年,国内数据库市场竞争加剧,更多厂商涌入赛道。在这之中,分布式数据库成为诸多厂商布局的热点。
据统计,国内目前有30多款分布式事务数据库产品,其中大多数产品都是基于开源技术进行二次开发。云数据库厂商、创业企业和传统数据库企业三大势力,聚焦金融、电信、政府等行业,提供公有云和私有交付两种模式。
九:图数据库
2019年以来,国内图数据库产品研发速度迅速加快,两年内推出的图数据库与图计算相关产品超过了15款。
特别是2020年以来,大型互联网企业(阿里云、腾讯云)纷纷推出图数据库和图计算的服务。图数据库赛道也诞生了诸多创业公司,并成为投融资热点。知识图谱、金融风控、公共安全等一些场景已经有了落地案例。
十:大数据服务体系
主流的大数据产品厂商非常重视服务生态的构建,纷纷联合外围服务企业,围绕自身的产品形成咨询、实施、治理、应用等服务体系。
然而,企业的大数据服务能力高低不一,存在流程不规范,人员实施经验不足,项目管理混乱等问题,导致不少大数据项目以失败告终。
大数据企业想要成功稳定地运作大数据项目,最基础的就是数据管理人员的经验与技术,无论是从企业还是个人出发,考取一个大数据管理相关的证书都是最好的选择,不仅能提升大数据管理能力、意识和素质,还能获得更高的市场信誉与认可。
为了便于国内广大数据从业者学习相关认证,DAMA中国以国际数据管理协会(简称“DAMA国际”) DAMA数据管理知识体系为基础,结合国内实际需求,对DAMA国际数据管理专业人员认证( CDMP )的考试语言、考试形式、考试内容、证书类型等进行了适当本地化重构。
重构后认证考试分为数据治理工程师 (CDGA )和数据治理专家 (CDGP ),DAMA中国承担认证考试命题工作,并定期组织中文考试,对考试通过者由DAMA中国颁发认证证书。