作者 | 滴滴数据平台团队
编辑 | Vincent
AI 前线导读:
企业的生产活动会产生各种各样的数据,数据作为企业最重要的资产之一,价值巨大,数据价值的获取需要对其进行不断访问(或读或写),不同的数据访问需求就构成了相互区别的数据访问场景,只有按照场景定制数据的存储、检索、传输以及计算加工方案,才有可能提供整体最优的数据访问性能。
滴滴 OLAP 引擎细分多种场景,如灵活分析、固化分析、热点数据等,针对不同场景的特性,使用不同的场景引擎。Apache Kylin 作为滴滴 OLAP 引擎内部的固化分析场景引擎,间接服务了滴滴下游多个重要的数据产品,覆盖了十多条业务线,为用户提供了稳定、可靠、高效的数据分析性能。
更多干货内容请关注微信公众号“AI 前线”,(ID:ai-front)
滴滴 OLAP 引擎细分多种场景,如灵活分析、固化分析、热点数据等,针对不同场景的特性,使用不同的场景引擎。Apache Kylin 作为滴滴 OLAP 引擎内部的固化分析场景引擎,间接服务了滴滴下游多个重要的数据产品,覆盖了十多条业务线,为用户提供了稳定、可靠、高效的数据分析性能。
更多干货内容请关注微信公众号“AI 前线”,(ID:ai-front)
数据访问场景
2.1 重视区分数据访问场景
为什么需要重视区分数据访问场景?怎么区分数据访问场景?
本质上,数据访问场景是一类数据访问需求,数据访问需求可以通过考察以下几个方面进行归类识别:
-
期望进行的查询以及各个查询的查询频度和占查询总量的比例;
-
每类查询(行、列、字节等)结果的数据量级分布;
-
读取和更新数据的关系,如读写比例、数据更新粒度等;
-
数据的工作规模以及在本机使用数据的方式;
-
事务以及事务隔离级别的需求;
-
数据副本和逻辑完整性的需求;
-
对每类查询的延迟和吞吐量的需求;
等等,针对不同的数据访问场景,需要定制不同的数据存储、检索、传输以及计算加工方案,只有这样,才能借助场景特性,设计更有针对性的实现方案,以更加契合该场景下的数据使用,最大化整体数据访问性能。