OpenMLDB 发布线上到线下数据自动同步工具
输入“/”快速插入内容
OpenMLDB 发布线上到线下数据自动同步工具
OpenMLDB 发布线上到线下数据自动同步工具
用户4084用户4084
用户1005用户10052023年7月19日修改
OpenMLDB 正式发布线上到线下数据自动同步工具
OpenMLDB 作为一个线上线下一致的实时特征计算平台，通过合理的线上线下数据存储，确保线上到线下数据的一致性。由于线上和线下数据有不同性能和数据量的需求，通常情况下，OpenMLDB 的线上和线下的数据在物理上是分开存储。
在以前版本中，需要用户自行维护线上线下数据的同步和一致性，带来了一定的维护复杂度。近期，OpenMLDB v0.8.0 正式推出自动化线上到线下数据同步工具，实现了从实时数据库到离线数仓的自动同步，改进了手动维护的运维复杂度。下表总结了两种不同使用方式的优劣势。
线上线下数据同步方式 | 使用方式 | 优势 | 不足 |
手动维护和同步 | 默认使用方式 | 用户对于数据存储具备完全控制权，可以按照自己需求进行存储行为设计 | 一定的开发和维护复杂度，用户需要自己维护数据的写入、保证一致性等问题 |
线上到线下数据自动同步 | 单独配置同步工具 | 典型使用场景下更为易用，用户无需自己写代码实现线上到线下数据同步 | 目前版本的实时数据库仅支持磁盘表 |
线上到线下数据存储自动化同步工具的架构如下图所示，用户只需要将新的数据写入 OpenMLDB 线上实时数据库，并设置好线上到线下的同步机制，OpenMLDB 即可自动化地将数据实时或者定时地同步至一个或者多个离线数仓。OpenMLDB 的实时数据库根据数据过期机制仅保存用于线上特征计算的数据，而离线数仓将保留所有全量数据。
画板
图1 线上到线下数据自动化同步
线上到线下自动同步实战演示
使用线上到线下自动同步功能，需要在每台 TabletServer 所在机器上部署至少一台 DataCollector，用于收集在线数据。接收并写入离线存储的工具 SyncTool 可放于任何机器，目前仅支持单体运行。详细部署方式见最新产品相关文档（https://openmldb.ai/docs/zh/main/tutorial/online_offline_sync.html）。注意，目前在线存储仅支持磁盘表，离线支持写入到 HDFS。
接下来将以Docker镜像为例，展示在离线同步方式。主要分为以下四步：
1.
HDFS 环境配置，作为离线存储地址
2.
OpenMLDB 部署，包含同步组件
3.
创建 OpenMLDB 线上到线下的同步任务
4.
在线数据导入，并检查离线存储地址
步骤一：HDFS 环境配置
HADOOP安装参考 Pseudo-Distributed Operation，需配置JAVA_HOME和PDSH_RCMD_TYPE环境变量。为了简单起见，额外配置所有USER为当前用户root。因此安装步骤为:
代码块
curl -SLO https://archive.apache.org/dist/hadoop/common/hadoop-3.2.2/hadoop-3.2.2.tar.gz
tar zxf hadoop-3.2.2.tar.gz
apt update && apt install ssh pdsh
service ssh start
ssh-keygen -t rsa -P '' -f ~/.ssh/id_rsa
cat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys
chmod 0600 ~/.ssh/authorized_keys
echo -e "export HDFS_NAMENODE_USER=root\nexport HDFS_DATANODE_USER=root\nexport HDFS_SECONDARYNAMENODE_USER=root\nexport YARN_RESOURCEMANAGER_USER=root\nexport YARN_NODEMANAGER_USER=root\nexport JAVA_HOME=/usr/local/openjdk-11\nexport PDSH_RCMD_TYPE=ssh\n" >> hadoop-3.2.2/etc/hadoop/hadoop-env.sh
bash hadoop-3.2.2/sbin/start-dfs.sh
可以通过ps axu检查，应该存在3个HADOOP相关的进程。
步骤二：OpenMLDB 部署
OpenMLDB的部署使用/work/init.sh，配置离线可以读取HDFS集群，离线表默认存储地址可不更改，后面可以软链接的方式加载离线地址。虽然有两个TabletServer，但实际只有一台机器，所以DataCollector只需要一个。注意init.sh启动的TabletServer IP为 localhost，我们需要将 DataCollector的IP也改为 localhost，端口使用默认端口。启动DataCollector后再启动SyncTool，SyncTool需要注意HADOOP配置的读取，这里直接设置读取HADOOP安装目录中的配置文件。
代码块
export HADOOP_CONF_DIR=/work/hadoop-3.2.2/etc/hadoop/
/work/init.sh
cd /work/openmldb
sed -i'' 's/endpoint=127.0.0.1/endpoint=localhost/g' conf/data_collector.flags
bash bin/start.sh start data_collector
sed -i'' 's#hadoop.conf.dir=.*#hadoop.conf.dir=/work/hadoop-3.2.2/etc/hadoop/#g' conf/synctool.properties
bash bin/start.sh start synctool
步骤三：创建同步任务
代码块
CREATE DATABASE demo_db;
USE demo_db;
CREATE TABLE demo_table1(c1 string, c2 int, c3 bigint, c4 float, c5 double, c6 timestamp, c7 date, INDEX(KEY=c1, TS=c6)) OPTIONS (storage_mode='HDD');
使用tools/synctool_helper.py来管理同步任务，由于SyncTool使用默认IP，所以以下命令均可以不填写-s。
创建同步任务，可以对某一张表创建同步任务，并且有三种同步模式可以选择，同时还需要填写SyncTool地址和离线数据地址。其中，离线数据地址指SyncTool可读取的HDFS地址，所以，需要SyncTool处有HDFS配置，地址不需要hdfs://路径开头。如果存入hdfs://<cluster>/tmp/hdfs-dest则填写/tmp/hdfs-dest。
代码块
# mode 0: 全量同步，在某一时刻无新数据读取时，将停止同步
python3 tools/synctool_helper.py create -t db.table -m 0 -s <sync tool endpoint> -d /tmp/hdfs-dest
# mode 1: 持续同步，同步任务将一直存在，并且对所有数据进行ts的筛选，例如-t时间为2023/7/18 00:00:00.000，则所有早于此的数据将不会被同步到离线
python3 tools/synctool_helper.py create -t db.table -m 1 -ts 233 -s <sync tool endpoint> -d /tmp/hdfs-dest
# mode 2: 持续同步，同步任务将一直存在，所有在线数据将同步到离线
python3 tools/synctool_helper.py create -t db.table -m 2 -s <sync tool endpoint> -d /tmp/hdfs-dest