专栏名称: AI前线
微信号:AI前线,ID:ai-front 运营
目录
相关文章推荐
Java仓库  ·  AI 工具,永久免费了 ·  12 小时前  
Java仓库  ·  AI 工具,永久免费了 ·  12 小时前  
AI前线  ·  苹果憋一年终超同参数 Qwen ... ·  昨天  
赛博禅心  ·  MiniCPM 4.0 ... ·  2 天前  
赛博禅心  ·  MiniCPM 4.0 ... ·  2 天前  
硅基流动  ·  硅基流动完成新一轮数亿元融资 ·  2 天前  
硅基流动  ·  硅基流动完成新一轮数亿元融资 ·  2 天前  
51好读  ›  专栏  ›  AI前线

实践 | Kylin在滴滴OLAP引擎中的应用

AI前线  · 掘金  · AI  · 2018-06-28 03:49

正文

请到「今天看啥」查看全文


实践 | Kylin在滴滴OLAP引擎中的应用

作者 | 滴滴数据平台团队
编辑 | Vincent
AI 前线导读: 企业的生产活动会产生各种各样的数据,数据作为企业最重要的资产之一,价值巨大,数据价值的获取需要对其进行不断访问(或读或写),不同的数据访问需求就构成了相互区别的数据访问场景,只有按照场景定制数据的存储、检索、传输以及计算加工方案,才有可能提供整体最优的数据访问性能。

滴滴 OLAP 引擎细分多种场景,如灵活分析、固化分析、热点数据等,针对不同场景的特性,使用不同的场景引擎。Apache Kylin 作为滴滴 OLAP 引擎内部的固化分析场景引擎,间接服务了滴滴下游多个重要的数据产品,覆盖了十多条业务线,为用户提供了稳定、可靠、高效的数据分析性能。

更多干货内容请关注微信公众号“AI 前线”,(ID:ai-front)
数据访问场景
2.1 重视区分数据访问场景

为什么需要重视区分数据访问场景?怎么区分数据访问场景?

本质上,数据访问场景是一类数据访问需求,数据访问需求可以通过考察以下几个方面进行归类识别:

  1. 期望进行的查询以及各个查询的查询频度和占查询总量的比例;

  2. 每类查询(行、列、字节等)结果的数据量级分布;

  3. 读取和更新数据的关系,如读写比例、数据更新粒度等;

  4. 数据的工作规模以及在本机使用数据的方式;

  5. 事务以及事务隔离级别的需求;

  6. 数据副本和逻辑完整性的需求;

  7. 对每类查询的延迟和吞吐量的需求;

等等,针对不同的数据访问场景,需要定制不同的数据存储、检索、传输以及计算加工方案,只有这样,才能借助场景特性,设计更有针对性的实现方案,以更加契合该场景下的数据使用,最大化整体数据访问性能。







请到「今天看啥」查看全文