数仓引入ClickHouse之后，性能提升了400%！

DBAplus社群 · 公众号 · 数据库 · 2020-11-04 07:15

正文

三、集成开发环境封装

1、数据同步工具封装

我们发现消耗在数据同步上的时间太多，是数据计算时间的十几倍。于是开始研究ClickHouse数据导入方式，其中一种如下：

cat filename.orc | clickhouse-client -- query="INSERTINTO some_table FORMAT ORC"

在此基础上通过缓存、批处理等机制封装成新的orc2ck.sh同步工具，使同步速度比原先工具的性能提高500%以上。

2、集成开发工具封装

为了提高开发效率，减少代码冗余，我们封装了ClickHouse代码执行工具ck.sh，执行环境如下图（橙色部分是应用代码部分，红色框部分是封装工具及参数）。

四、ClickHouse代码优化技巧

推荐文章

AustinDatabases · 哎，马上删，马上

21 小时前

终码一生 · 如何加快 SQL 查询速度的同时保持 SQL 的简洁性？

昨天

数据中心运维管理 · 弱电智能化中究竟有多少个子系统？

3 天前

数据中心运维管理 · 超大规模数据中心如何重新思考冷却效率

5 天前

数据中心运维管理 · 锂电池火灾处理难度

3 天前

BMWsky宝马会 · 长假结束了！除了工作，还要像这样子检查爱车！

8 年前

知心 · 富二代美女被逼共侍一夫，看富二代如何沦陷深渊...

8 年前

严肃八卦 · 女明星都是怎么待产的咧？Angelababy说想打游戏…

8 年前

游戏那点事Gamez · 新游 | 益玩公布新游3D《传奇战域》发行战略解析

8 年前

冷丫 · 女生的这9个真相你绝对不知道

8 年前