专栏名称: DBAplus社群
围绕数据库、大数据、PaaS云,顶级大咖、技术干货,运营几个月受众过十万!成为运维圈最专注围绕“数据”的学习交流和专业社群!欢迎投稿,加入探讨。
目录
相关文章推荐
数据中心运维管理  ·  弱电智能化中究竟有多少个子系统? ·  2 天前  
数据中心运维管理  ·  超大规模数据中心如何重新思考冷却效率 ·  3 天前  
数据中心运维管理  ·  锂电池火灾处理难度 ·  2 天前  
AustinDatabases  ·  P-MySQL ... ·  2 天前  
51好读  ›  专栏  ›  DBAplus社群

京东EB级全域大数据平台的演进与治理历程

DBAplus社群  · 公众号  · 数据库  · 2020-11-19 07:15

正文

请到「今天看啥」查看全文



1、行业大数据平台发展阶段


来源于: 公开资料整理


从一个技术人的角度看,我们认为大数据平台在应对整个行业诉求方面当前还处在一个探索期,还在起步的阶段。


数据中台的概念逐步受到市场关注,但是数据平台在企业的成功应用案例仍然局限在头部互联网企业,以及相关的创新型企业,但我们希望达到的目标是将数据中台打造成行业内所有企业的一个标配的基础能力。


2、行业大数据平台架构


距离数据平台建立一个统一的行业标准、统一的监管规范仍然有相当长的路需要去走。这是一个大数据平台架构简图:


来源于 公开资料整理


从这个架构图可以看到:


  • 整个大数据生态是非常复杂的,里面涉及非常多元、多样的产品技术;

  • 数据平台技术处于高速发展阶段,以及整个行业在每年都会涌现大量的新鲜产品和技术。


这两个特点为诸多企业建立标准统一的大数据平台和进行数字化转型带来了很高的技术门槛,同时技术路线的不清晰也隐藏各种决策的风险。


3、行业大数据平台建设的挑战


我们认为建设行业大数据平台面临着诸多的问题:



我们也从京东的大数据实践中提炼了一些核心点,希望对大家有所帮助:


  • 随着数据规模快速增加,想要通过简单堆砌物理资源的方式,会让投资的边际效益越来越低;

  • 同时随着市场竞争格局加剧,传统规则化的数据分析方式已经无法满足更精准的业务数据挖掘诉求;

  • 在后疫情时代,新基建激发了大量对数据的诉求,然而互联网企业所积累的数字化转型经验想要在其他相关行业落地推广,还需要继续探索。


三、京东全域大数据平台的建设历程


结合前面提出的一些核心问题,下面我来分享一下京东在大数据平台建设中的一些历程和心得。


1、京东大数据平台的整体情况






请到「今天看啥」查看全文