技术原理

人工智能工程化落地的关键点之一，在于解决真实业务场景的实时批量预估和实时模型更新问题。更好更快的将线上实时数据转化为AI可用的特征，将加速AI应用落地的效率及效果。为此，OpenMLDB 和 Apache Pulsar 合作推出OpenMLDB Pulsar Connector，实现稳定的流式集成，为高效打通实时数据到特征工程提供一条值得期待的清晰路径。

人工智能工程化落地的关键点之一，在于解决真实业务场景的实时批量预估和实时模型更新问题。更好更快地将线上实时数据转化为AI可用的特征，将加速AI应用落地的效率及效果。为此，OpenMLDB 和 Apache Pulsar 合作推出OpenMLDB Pulsar Connector，实现稳定的流式集成，为高效打通实时数据到特征工程提供一条值得期待的清晰路径。

OpenMLDB 的在线模块主要负责特征脚本上线以后的实时特征计算，因此对于低延迟、高并发、高可用等有较高的要求。

本文是知乎用户@李喆 针对OpenMLDB在VLDB上发表的论文分享的读书笔记。

OpenMLDB 针对线上线下的特征工程全流程，在不同阶段提供了不同的执行模式。尤其在生产环境下所使用的集群版，针对不同阶段做了较为复杂的执行模式的划分。本文集中说明在集群版 OpenMLDB 中，从特征开发到上线的全流程，及其相应的执行模式。

在本篇文章中，我们将基于主表和副表，去展开详细介绍更加复杂和强大的基于多表的特征脚本开发。同时，我们依然依托 OpenMLDB 所提供的 SQL 语法进行特征工程脚本示例。

本文介绍了特征工程的基础概念、实践工具，以及基本的基于单表的特征脚本开发。

本文介绍了OpenMLDB 0.4.0最新版本上的一些新特性，单机版和集群版的快速上手，以及怎么基于这个版本来快速搭建一个全流程的线上AI应用。

OpenMLDB是针对AI场景优化的开源数据库项目，实现了数据与计算一致性的离线MPP场景和在线OLTP场景计算引擎。MPP引擎可基于Spark实现，并通过拓展Spark源码实现数倍性能提升。本文主要解释OpenMLDB如何基于Spark来解决窗口数据的倾斜问题。

OpenMLDB是针对AI场景优化的开源数据库项目，实现了数据与计算一致性的离线MPP场景和在线OLTP场景计算引擎。其实MPP引擎可基于Spark实现，并通过拓展Spark源码实现数倍性能提升。