双存储引擎架构和性能评测

本文将介绍 OpenMLDB 双存储引擎的架构和功能对比，通过测试不同可用内存容量下，磁盘引擎的访问延迟和数据量大小的关系，系统地考察磁盘引擎的性能表现。​

在实际使用中，开发者可根据实际应用场景及需求进行选择。比如对于本文所测试的应用场景，如果需要 10 毫秒左右的超低延迟，那么优先选择内存存储引擎；如果对于内存成本敏感，同时可以接受 20-30 毫秒左右的延迟性能，则建议考虑磁盘引擎，将带来 80% 左右的硬件成本节省。​

1.
内存和磁盘的双存储引擎架构​

1.1 使用场景描述

OpenMLDB 的线上服务部分为满足开发者不同性能和成本的需求，提供了基于内存和磁盘的两种存储引擎，具体介绍详见下表。​

	内存存储	磁盘存储
性能	低延迟（毫秒级）、高并发	预期相比较内存引擎有大约 3-7 倍的性能衰减，和场景有较大关系
成本	数据和索引存储在内存，成本较高	数据和索引存储在磁盘，成本较低
功能支持	详见下文 “2. 双存储引擎功能支持对比”

1.2 存储引擎架构

1.2.1 内存存储引擎架构

内存存储引擎的详细架构参考：在线模块架构 - 4.2 Storage Engine

1.2.2 磁盘存储引擎架构

OpenMLDB 磁盘存储引擎底层基于 RocksDB 实现。RocksDB 本质上是一个基于磁盘的 KV 数据库，其实现的基本逻辑为将创建表格时的索引所对应的 KEY 和 TS （OpenMLDB 列索引）组合起来，成为 RocksDB 的 KEY，并且映射到相应的 column family。RocksDB 内的值则即为当前索引键对应的 OpenMLDB 内的一行数据。下图反映了基于 RocksDB 进行存储引擎映射的基本架构。

common.docs_name - LarkCCM_Docs_Menu_Image

1.3 使用方式

内存引擎为 OpenMLDB 默认的存储引擎，两种引擎的使用说明如下：​

•
两种引擎的指定为表级别，即在同一个数据库内，不同表格可以使用不同的存储引擎（但是一张表只能对应一种存储引擎）​

•

存储引擎通过建表时的参数 storage_mode 进行指定，其可选值为 Memory（内存存储）、HDD、或SSD （磁盘存储引擎根据具体介质细分为 HDD 或者 SSD，内置了特殊的参数优化）。例如建表时指定存储引擎为 HDD 的磁盘存储：

代码块

CREATE TABLE t1 (col0 STRING, col1 int, std_time TIMESTAMP, INDEX(KEY=col1, TS=std_time)) OPTIONS(partitionnum=8, replicanum=3, storage_mode='HDD');​

•
如不指定存储模式，则默认使用内存存储引擎​

•
表格创建以后，无法再修改其存储模式​

2.
功能支持对比​

双存储引擎在大部分场景的功能支持是一致的，但在某些场景上有所差异。下图列出了差异性的功能支持，在做切换之前需要考虑对业务是否会产生实际的影响。​

	内存引擎	磁盘引擎
动态增加/删除索引	✓	✘
创建 absandlat 和 absorlat 索引	✓	✘
允许同一个 key 下的数据有相同的时间戳（TS）	✓	✘
精确条数指标统计	✓	✘
BulkLoad	✓	✘

3.
性能对比​

3.1
硬件配置​

•
CPU：2x Intel(R) Xeon(R) Gold 6230 CPU @ 2.10GHz​

•
SSD：Intel DC P4600 Series 2TB，磁盘引擎选用该 SSD 作为存储介质​

•

DRAM：物理机器内存 512 GB。为了方便进行实验，本测试采用工具 Chaosblade (https://github.com/chaosblade-io/chaosblade) 进行模拟内存占用。最终模拟测试可用的内存为 8/16/32 GB

3.2
部署和负载​

•
OpenMLDB 使用集群模式部署，采用了两个 tablets 的配置，没有开启预聚合优化。​

•

测试所用数据和脚本使用了 OpenMLDB 内置的测试脚本的默认参数，可以参考 https://github.com/4paradigm/OpenMLDB/tree/main/benchmark。

•
对于实时请求，OpenMLDB 使用了基于全量数据的随机查询，以避免系统缓存所带来的影响。​

•
对于某组特定的可用内存参数，可以通过不断增大数据量，来查看系统性能和数据量的关系。由于系统缓存的存在，预期当数据量小于内存时，缓存可以很好的避免磁盘 IO 造成的性能衰退；但是随着数据量的增大，性能将会呈现持续下降趋势，直到某一个平衡点。该实验展示了不同数据量下的性能表现，以及最终达到的预期最差性能。​

3.3
测试结果​

50%

双存储引擎架构和性能评测​

双存储引擎架构和性能评测