经过多年发展,京东大数据平台已经实现了从数据采集、存储、计算加工、数据模型建设、可视化、机器学习等全方位数字化服务。面对超大规模带来的运维挑战,包括异构配置难管理、故障一致性难保障以及成本压力难控制,都是怎么解决的?
针对各项挑战,京东大数据平台进行了异构配置方案设计以及一系列的降本增效实践:
- 异构配置进行分层管理,做服务发现自主识别配置,研发智能代理进行交互,建立监听系统,配置变更回调实时生效;
- 系统一致性管控,自动对系统环境配置、程序版本、配置文件版本、Docker镜像进行检测自动拉齐版本,保持一致性,数据看板,随时查看同步状态;
- 降本增效实践,以数据驱动全链路优化,京东大数据SRE团队职责涵盖基础运维、应用运维、数据运维,具有最强的链路掌控能力,成为平台降本增效的最佳推手。
讲师介绍
郏建超,京东大数据副总监、SRE负责人。2006年毕业于山东大学计算机科学与技术专业,之后一直从事大数据领域的研发和运维工作。擅长大数据架构设计,2017年底加入京东大数据团队,负责智能化运维体系建设工作,带领团队实现从脚本化到自动化、智能化的提升。