专栏名称: DBAplus社群
围绕数据库、大数据、PaaS云,顶级大咖、技术干货,运营几个月受众过十万!成为运维圈最专注围绕“数据”的学习交流和专业社群!欢迎投稿,加入探讨。
目录
相关文章推荐
数据中心运维管理  ·  施耐德电气PowerLogic™ ... ·  12 小时前  
数据中心运维管理  ·  6月1日起实施!我国首部绿色数据中心评价国标 ... ·  昨天  
数据中心运维管理  ·  应急预案和应急演练到底怎么做? ·  12 小时前  
脚本之家  ·  面试官:使用 MySQL ... ·  2 天前  
51好读  ›  专栏  ›  DBAplus社群

爱奇艺用户分析平台实践:TB级数据查询秒级返回

DBAplus社群  · 公众号  · 数据库  · 2020-12-24 07:15

正文

请到「今天看啥」查看全文



在流量饱和的时代背景下,业务的增长依赖于通过大数据快速精准分析进行业务试验与升级,从而找到真正的Magic Number。业务各个节点的发展对数据具有强依赖性,随着业务的发展,这些数据对于时效性以及分析复杂度的要求越来越高。如何利用平台化的方式,将精细化的业务、分析需求统一解决,如何实现多维度,多行为的交互式分析是成为了技术团队的条件。


精细化运营平台-北斗是爱奇艺技术团队自研的交互式用户分析平台。支持用户核心行为,叠加用户画像标签的方式以定位目标人群,从而进行有针对性地业务维度分析。


一、用户分析平台诞生的背景


爱奇艺在2015年上线了基于hive的自助查询平台。但是随着业务的快速发展和数据量的急剧增长。基于hive的查询平台从分析深度及分析时效性已经无法满足业务的需求。于是急需一个交互式(秒级结果返回)的用户分析平台来满足业务需求。


在用户分析平台上线前,业务通过自主查询工具进行数据分析时面临着以下困难:


  • 查询耗时长:基于hive的多表关联及大表的单表查询往往需要半小时及以上的时间才能出结果,无法快速验证想法;

  • 分析门槛高:用户基于数据理解进行数据查询,没有现成的路径,留存等分析模板使用,从而使得数据分析需要专业分析师才能进行,无法赋能与运营等业务人员数据分析能力;

  • 数据使用未形成闭环:在查询平台获取查询满意的数据结果后,无法将数据结论直接应用到线上形成数据分析的闭环。


针对以上,我们搭建了用户分析平台-北斗,实现了交互级别的用户行为分析,让数据可快速的 分析→决策→行动,实现数据分析的闭环。不但为业务提供表的查询服务,进一步提供了用户行为分析的解决方案。


如下图:用户分析平台接入爱奇艺各大业务数据及基础平台数据,以用户分群为核心,支持画像,路径,留存等各类分析行为。且可将分析人群可输出至线上系统,实现数据分析的闭环。



二、用户分析平台的平台架构







请到「今天看啥」查看全文