精彩联动!OpenMLDB Pulsar Connector原理和实操
人工智能工程化落地的关键点之一,在于解决真实业务场景的实时批量预估和实时模型更新问题。更好更快的将线上实时数据转化为AI可用的特征,将加速AI应用落地的效率及效果。为此,OpenMLDB 和 Apache Pulsar 合作推出OpenMLDB Pulsar Connector,实现稳定的流式集成,为高效打通实时数据到特征工程提供一条值得期待的清晰路径。
人工智能工程化落地的关键点之一,在于解决真实业务场景的实时批量预估和实时模型更新问题。更好更快的将线上实时数据转化为AI可用的特征,将加速AI应用落地的效率及效果。为此,OpenMLDB 和 Apache Pulsar 合作推出OpenMLDB Pulsar Connector,实现稳定的流式集成,为高效打通实时数据到特征工程提供一条值得期待的清晰路径。
人工智能工程化落地的关键点之一,在于解决真实业务场景的实时批量预估和实时模型更新问题。更好更快地将线上实时数据转化为AI可用的特征,将加速AI应用落地的效率及效果。为此,OpenMLDB 和 Apache Pulsar 合作推出OpenMLDB Pulsar Connector,实现稳定的流式集成,为高效打通实时数据到特征工程提供一条值得期待的清晰路径。
3 月 30 日,CSDN 2021 年度 IT 技术影响力之星颁奖典礼成功举行,并揭晓了个人、公司和创新技术及产品等三大类共 12 个奖项的评选结果。在颁奖典礼上,OpenMLDB 作为国内首个开源机器学习数据库,凭借持续进步的技术创新、不断扩展的功能覆盖斩获“年度开源项目”奖项。
OpenMLDB 的在线模块主要负责特征脚本上线以后的实时特征计算,因此对于低延迟、高并发、高可用等有较高的要求。
本文是知乎用户@李喆 针对OpenMLDB在VLDB上发表的论文分享的读书笔记。
OpenMLDB 针对线上线下的特征工程全流程,在不同阶段提供了不同的执行模式。尤其在生产环境下所使用的集群版,针对不同阶段做了较为复杂的执行模式的划分。本文集中说明在集群版 OpenMLDB 中,从特征开发到上线的全流程,及其相应的执行模式。
在本篇文章中,我们将基于主表和副表,去展开详细介绍更加复杂和强大的基于多表的特征脚本开发。同时,我们依然依托 OpenMLDB 所提供的 SQL 语法进行特征工程脚本示例。
本文介绍了特征工程的基础概念、实践工具,以及基本的基于单表的特征脚本开发。
OpenMLDB 在金融科技类场景中不仅提升团队约一倍人效、节约数百万成本,同时也是相比 Spark、Flink 及其他 MPP 选型中唯一具备线性 scale 能力的方案。
本文介绍了OpenMLDB 0.4.0最新版本上的一些新特性,单机版和集群版的快速上手,以及怎么基于这个版本来快速搭建一个全流程的线上AI应用。