分享
一篇短文讲清 OpenMLDB 价值
输入“/”快速插入内容
一篇短文讲清 OpenMLDB 价值
OpenMLDB为企业提供一个降低人工智能落地成本数倍的毫秒级实时特征平台,让科学家开发的特征脚本直接上线生产环境,并且提供线上毫秒级低延迟、高吞吐、高可用等生产级特性。
在没有OpenMLDB的传统方式下,实时特征计算上线一般包含如下三个步骤:
1.
数据科学家离线使用SparkSQL或者Python,开发特征脚本;
2.
其开发的离线脚本一般无法在生产环境直接上线(不能满足毫秒级低延迟、高
并发
、高可用等生产级要求),因此需要工程化团队将离线特征脚本重新优化(如基于
C++
重构);
3.
需要对数据科学家开发的离线特征脚本、工程化团队开发的线上服务,进行计算逻辑的一致性校验。
该过程需要经历
三个步骤,涉及两组开发人员、两套工具栈,具有高昂的落地成本
。按照我们经验估算,一个较大的场景完成这三个步骤需要半年左右的人天成本。
OpenMLDB的目标是为了达到开发即上线,使得
数据科学家开发的特征脚本能够在生产环境直接上线
。其具备离线和在线的两套处理引擎,在线引擎针对
特征工程
深度优化,可以满足线上生产级需求,并且通过一致性执行计划生成器自动保证线上线下一致性。基于OpenMLDB,落地一个
机器学习
应用在特征环节包含以下两个步骤:
4.
数据科学家使用SQL开发离线特征脚本;
5.
仅使用一条部署命令,即将特征脚本部署到线上引擎,并且保证线上线下一致性,以及线上服务的生产级质量(毫秒级低延迟、高
并发
、高可用);
因此,OpenMLDB的最大价值是显著降低人工智能的工程化落地成本。以下表格为根据我们的项目经验,总结了对于一个较大的业务场景下,OpenMLDB可以数倍的节省
机器学习
的工程化成本。
参与角色
传统方式成本
基于OpenMLDB成本
离线特征脚本开发
数据科学家
1人月
1人月
在线特征服务开发
工程化团队
2人月
0
线上线下一致性校验
数据科学家
工程化团队
3人月
0
总计
-
6人月
1人月