专栏名称: HULK一线技术杂谈
HULK是360的私有云平台,丰富的一线实战经验,为你带来最有料的技术分享
目录
相关文章推荐
GiantPandaLLM  ·  【博客转载】Row-Major VS ... ·  昨天  
51好读  ›  专栏  ›  HULK一线技术杂谈

【360开源】Quicksql——更简单,更安全,更快速的跨数据源统一SQL查询引擎

HULK一线技术杂谈  · 公众号  ·  · 2018-12-29 18:58

正文

请到「今天看啥」查看全文


Quicksql基于Apache Calcite提供的多数据引擎SQL语义适配功能,基于ANSI发布的SQL 2003标准和用户的使用习惯上,重新定义并扩展部分SQL语义,对用户提供了统一的SQL语言。在内部,Quicksql会根据用户所查询的SQL语句,在原语义的基础上,进行解析转化等操作,最终根据数据引擎特性将用户的查询语义完整地转化为数据引擎可执行的SQL语句。Quicksql还拥有智能选择功能,可以根据该SQL的引擎特性决定最快速最高效的数据查询方式,例如,当Quicksql分析得出查询语句是一个混合查询,它就会自动选择启动集群模式(默认是Spark)进行数据处理。


特点

统一SQL语义

提供统一SQL语言,方便用户学习使用。


混合SQL的支持

在日常工作中,我们发现有很多业务线同事面临需要将Hive的数据连接MySQL的操作等需要,这在传统的SQL查询中是无法实现的。但是Quicksql做到了。用户可以完全忽略掉不同数据引擎的底层存储,对两种或两种以上的引擎进行连接(JOIN)、合并(UNION)等操作,更快速的达到数据分析的结果。


易扩展

Quicksql拥有数据底层存储无关,数据计算引擎无关的特性。也就是说,它可以很方便地扩展多种数据源(Druid、Mongo等),扩展多种计算引擎(Spark、Flink等)。在0.5-release版中,Quicksql重点实现了Hive、MySQL、Elasticsearch的混查,引擎支持JDBC和Spark,后面我们会添加常用的数据存储引擎和计算引擎,也欢迎大家来和我们一起完善构建统一SQL的世界。


架构图







请到「今天看啥」查看全文