从 o11y 2.0 说起，大数据 Pipeline 的「多快好省」之道

正文

请到「今天看啥」查看全文

写入处理器

消费处理器

数据加工

使用形态

用户维护写入客户端，SLS 收到数据做计算、落库后响应客户端

用户维护消费客户端，SLS 收到请求后读数据做计算后响应客户端

SLS 全托管服务，流式读取源库数据，计算后写入目标库

SPL 算子支持

部分能力

适合简单的过滤、预处理场景

部分能力

适合简单的过滤、预处理场景

完整能力

包括：复杂计算、Lookup、多目标分发等能力

计算容错性

中

1. 处理失败时可上传原文字段

2. 复杂计算可能增加客户端写入请求耗时（百 ms 级）

高

1. 基于持久化的数据，可重复消费计算

2. 复杂计算可能增加客户端读取请求耗时（百 ms 级）

高

1. 基于持久化的数据，可重复消费计算

2. 支持负载均衡、分片发现，自动进行异常重试

数据场景可扩展性

数据使用场景较固定

数据按原文写入，在多种消费场景下可以分别做个性化处理

计算费用

相同

存储费用

存：计算后结果数据

存：原文数据、计算后结果数据

存储一天原文数据的费用约等于流一遍数据计算的费用

数据加工是全托管服务，本次进行了架构升级。写入、消费处理器则是全新推出的功能，为上下游生产者、消费者提供了更多选择。

请到「今天看啥」查看全文