Facebook开源内存数据库Beringei，追求极致压缩率

正文

请到「今天看啥」查看全文

Beringei的设计思路

Beringei基于BSD协议，它不同于其他的内存系统（比如Memcached），Beringei通过优化，支持存储专门用于运行状况和性能监控的时间序列数据。设计Beringei的初衷是为了更高的写入速率和更低的读取延迟，同时尽可能高效地使用内存来存储时间序列数据。Facebook团队创建了一种系统，该系统可以存储最近24小时内在Facebook生成的所有性能和监控数据，以便Facebook在生产环境中遇到问题后，可以极快地探究并调试系统和服务。

数据压缩对于帮助降低存储开销必不可少。Facebook考虑了现有的压缩方案，仅适用于整数数据的方法、使用近似技术的方法，以及需要对整个数据集进行操作的方法都被Facebook否决了。

Beringei使用一种无损耗数据流压缩算法，压缩时间序列里面的数据点，不进行跨时间序列的额外压缩。每个数据点是一对64位值，表示当时计数器的时间戳和值。时间戳和值使用前一个值的信息单独压缩。时间戳压缩使用delta-of-dalta编码方式，通过采用规则的时间序列在较少的内存内存储时间戳。

Facebook团队分析了存储的性能监控系统中的数据后发现，大多数时间序列中的值与相邻数据点相比并没有显著的变化。此外，许多数据源只存储整数（尽管系统支持浮点值）。

知道这一点后，只要使用XOR将当前值与先前值进行比较，然后存储发生变化的比特。最终，该算法将整个数据集至少压缩了90%。

使用场景及特点

Facebook团队预计Beringei主要有两种使用场合：

1. 创建一个简单的共享服务和客户端，后者可以存储和处理时间序列查询请求。

2. Beringei可以用作一个嵌入库，处理高效存储时间序列数据的底层细节。以这种方式使用Beringei类似RocksDB，Beringei有望成为支持其他性能监控解决方案的高性能存储系统。

Beringei作为库的使用具有下列特点：

请到「今天看啥」查看全文