blog - OpenMLDB - 生产级特征开发全栈解决方案

OpenMLDB vs Redis 内存占用量测试报告

OpenMLDB 是一款开源的高性能全内存 SQL 数据库，在时序数据存储、实时特征计算等方面都有很多创新和优化。Redis 是业界最流行的内存存储数据库，广泛应用于缓存等高性能在线场景。虽然二者应用场景不尽相同，但作为都是使用内存作为存储介质的数据库，希望通过对相同数据行数下的内存占用量进行测试对比，让客户直观了解二者在内存资源上的消耗占比。

超高性能数据库 OpenM(ysq)LDB：无缝兼容 MySQL 协议和多语言 MySQL 客户端

OpenM(ysq)LDB 是高性能时序数据库 OpenMLDB 的全新服务模块，OpenMLDB 中 “ML” 既是 Machine Learning 的缩写，也可以是 MySQL 的缩写，通过此模块用户可以直接使用 MySQL 命令行客户端或多种编程语言的 MySQL SDK，从而实现 OpenMLDB 数据库特有的在线离线特征计算功能。

全新特征平台 FeatInsight 测试平台上线，现已开放抢先体验！

OpenMLDB 社区开源特征平台产品 - FeatInsight，现已开放测试平台 @http://152.136.144.33/，联系我们获取用户名及密码，抢先体验！

十分钟掌握分布式数据库开发：OpenMLDB 开发者镜像详解

OpenMLDB 是一款国产的、开源的、面向时序数据的分布式内存数据库系统，它专注于高性能、高可靠性和易扩展性，适用于海量时序数据的处理以及在线特征的实时计算。在大数据和机器学习的浪潮中，OpenMLDB 以其强大的数据处理能力和高效的机器学习支持，在开源数据库领域崭露头角。

OpenMLDB v0.8.5 发布：认证功能完善，安全升级全面实施

OpenMLDB 作为中国唯一的特征平台产品入选 2023 Gartner 研究报告

在国际权威咨询与研究机构 Gartner 发布的重要研究报告 “逻辑特征存储：机器学习的数据管理” 中，OpenMLDB 荣幸作为中国唯一的特征平台代表产品入选该报告。

FeatInsight: 基于 OpenMLDB 的特征平台助力高效的特征管理和编排

OpenMLDB 特征平台（https://github.com/4paradigm/feature-platform）是一个先进的特征存储(Feature Store)服务，基于 OpenMLDB 数据库实现高效的特征管理和编排功能。

OpenMLDB SQL 开发调试神器 - OpenMLDB SQL Emulator

今天为大家介绍一款来自 OpenMLDB 社区的优秀独立工具 - OpenMLDB SQL Simulator（https://github.com/vagetablechicken/OpenMLDBSQLEmulator），可以让你更加高效方便的开发、调试 OpenMLDB SQL。

OpenMLDB v0.8.4 诊断工具全面升级

新的v0.8.4版本中，我们对于诊断工具进行了全面系统化的升级，以提供更加完整和智能化的诊断报告，有助于高效排查 OpenMLDB 集群问题，大幅提升运维效率。

OpenMLDB 基于 Kubernetes 的部署全攻略

本文将分别介绍离线和在线引擎基于 Kubernetes 的部署攻略。

OpenMLDB荣登ACM旗舰期刊

日前，最新一期的ACM（国际计算机学会）旗舰期刊《Communications of the ACM》(ACM 通讯) 刊登了开源机器学习数据库项目 OpenMLDB 的文章，获得了期刊编辑主席团的一致认可。

OpenMLDB 发布线上到线下数据自动同步工具

近期，OpenMLDB v0.8.0 正式推出自动化线上到线下数据同步工具，实现了从实时数据库到离线数仓的自动同步，改进了手动维护的运维复杂度。这篇文章总结了线上到线下数据自动同步的工具

OpenMLDB v0.8 新功能：离线引擎数据源支持 Amazon S3

OpenMLDB v0.8.0 新版本发布中新增加了对于 Amazon S3 作为离线数据源的支持。点击文章了解更多

首个机器学习实时特征平台测试基准论文被 VLDB 2023 录取

首个机器学习实时特征平台测试基准论文 FEBench: A Benchmark for Real-Time Relational Data Feature Extraction 被 VLDB 2023 录取

OpenMLDB v0.8.0 发布

v0.8.0 新版本发布

论文解读：基于 OpenMLDB 的流式特征计算优化

近期，数据库领域的顶级学术会议 ICDE 2023 在迪斯尼主题公园的故乡 - 美国的安纳海姆（Anaheim）举办。由 OpenMLDB 开源社区和新加坡科技设计大学（Singapore University of Technology and Design）联合完成的研究工作在 ICDE 2023 上作为工业界的常规论文发表

实时决策系统中 OpenMLDB 的常见架构整合方式

本文关注基于 OpenMLDB，在企业级业务系统中使用的常见架构。

演讲实录｜AI 数据库的内存优化之路

本文整理自 OpenMLDB PMC 陈迪豪在 2023 Qcon 全球软件开发大会 AI 基础架构论坛上的发表的演讲实录。

OpenMLDB 社区月报 | 2023 年 2 月

OpenMLDB 社区每个月都会发布一版社区月报，总结一个月以来的产品动态、社区活动、内容发布等，让大家对我们社区的发展有更加清晰的了解。如果您对我们的社区有任何建议，欢迎在 GitHub 上提 Issues 或 PR ，共同参与社区的建设。

OpenMLDB SQL 与标准 SQL 的主要差异

本文将 OpenMLDB SQL 的主要使用方式（SELECT 查询语句）与标准 SQL （以 MySQL 支持的语法为例）进行比较，让有 SQL 使用经验的开发者快速上手 OpenMLDB SQL。

OpenMLDB 社区月报 | 2023 年 1 月

一月，OpenMLDB 正式发布 0.7.0 版本，该版本主要增强了易用性和稳定性——系统性改进消息和错误码，提升易用性；设定内存使用上限，增强服务稳定性；新增自动化部署和启动工具，降低使用门槛。而后还快速迭代了 0.7.1 小版本，修复了一些社区问题。同时， OpenMLDB 项目荣获多项年度奖项，这些奖项是认可也是激励，2023 年 OpenMLDB 会再接再厉，持续创新优化，不负期待！

OpenMLDB 跨机房容灾方案

在单集群部署环境下，OpenMLDB 具备集群内节点级别的高可用能力。但若受到机房断电或者自然灾害等不可抗拒因素，则将造成的机房或大部分节点无法正常运转的情况，从而引发该集群状态异常，导致在线服务中断。为此，OpenMLDB 提供了一个跨机房容灾方案来解决该问题。

OpenMLDB v0.7.0 发布

2023 新年伊始，OpenMLDB v0.7.0 正式发布。

双存储引擎架构和性能评测

OpenMLDB 的线上服务部分为了满足不同的性能和成本需求，提供了两种分别基于内存和磁盘的存储引擎。

数据生态第四弹 | OpenMLDB Hive Connector，架构起数据仓库到特征工程的生态桥梁

近日，OpenMLDB 实现了与开源数据仓库软件 Hive 的连接，继完成与 Kafka、Pulsar、RocketMQ 等实时数据源生态整合后，持续构建离线数据生态，期待建设一个更加全面一体的上下游生态圈，在吸引更多用户的同时也能降低用户的使用门槛。

演讲实录｜OpenMLDB 与阿里云 MaxCompute 生态集成

在 OpenMLDB 第 8 期 Meetup 中，OpenMLDB PMC 陈迪豪以出租车行车时间预测问题为例，使用 OpenMLDB 基于阿里云 MaxCompute 的 Serverless 服务搭建机器学习应用，从数据引入开始，实现了端到端的机器学习应用全流程构建。

Meetup No.8 回顾 | OpenMLDB + MaxCompute：集成打通云上生态，高效构建 AI 应用

OpenMLDB Meetup No.8 活动回顾

OpenMLDB 社区月报 | 2022年11月

十一月，OpenMLDB 进行了高频的小版本迭代，共发布四个版本，平均每周一次。v0.6.5、v0.6.6、v0.6.7 和 v0.6.8 陆续与广大开发者见面，在增强功能的同时，也提高了运维效率，对易用性、可观测性、自动化等方面进行了改进。

OpenMLDB 实时引擎性能测试报告

OpenMLDB v0.6 新版本运维功能增强

在过去的一个月里，OpenMLDB 快速迭代了多个小版本 (v0.6.4-v0.6.6)，在增强功能的同时，也提高了运维效率。在运维方面，进行了对易用性、可观测性、自动化等方面的改进。本文将介绍 OpenMLDB 在 v0.6 版本迭代过程中运维方面所做的优化。

OpenMLDB 社区月报 | 2022年10月

OpenMLDB 开源机器学习数据库，提供线上线下一致的生产级特征平台。

演讲实录 | OpenMLDB 整合自动特征工程

OpenMLDB Meetup No.7 回顾 | OpenMLDB＋AutoX：整合自动特征工程，拥抱高效机器学习

OpenMLDB Meetup No.7 回顾

OpenMLDB 线上引擎资源需求预估模型，助你快速预估资源消耗

OpenMLDB 线上计算的最大优势为可以低延迟（毫秒级）高效处理实时特征计算请求。其中，为了达到低延迟，OpenMLDB 默认使用了基于内存的存储引擎。但是，当业务增长时，对于内存资源消耗以及访问吞吐需求的压力也会上升。本篇文章主要介绍基于 **内存存储引擎** 的资源预估（磁盘引擎见最后的说明），可以帮你更好的预估、配置用于部署 OpenMLDB 的机器资源。

OpenMLDB 新手宝典开发者上手必读

OpenMLDB作为分布式系统，模式多样、客户端丰富，初次使用可能会遇到安装部署或者运行使用方面的问题。

基于 OpenMLDB 的联邦学习方案被国际数据挖掘学术会议 CIKM 录取

本周，数据挖掘领域的国际顶级学术会议 **CIKM 2022** (https://www.cikm2022.org/) 正在美国亚特兰大举行。由第四范式和新加坡国立大学合作的论文 **"A System for Time Series Feature Extraction in Federated Learning"** 被 CIKM 录取。

场景驱动的特征计算方式 OpenMLDB，高效实现“现算现用”

在特征计算系统的实现上，Akulaku 采用场景驱动方式，通过使用 OpenMLDB，更加高效地实现特征“现算现用”。

【转载】Byzer + OpenMLDB 实现端到端的，基于实时特征计算的机器学习流程

本文示范如何使用 OpenMLDB 和 Byzer-lang 联合完成一个完整的机器学习应用。Byzer-lang 作为面向大数据和 AI 的一门语言，通过 Byzer-Notebook 和用户进行交互，用户可以轻松完成数据的抽取、ETL、特征/模型训练、保存、部署到最后预测等整个端到端的机器学习流程。 OpenMLDB 在本例中接收 Byzer 发送的指令和数据，完成数据的实时特征计算，并经特征工程处理后的数据集返回 Byzer，供其进行后续的机器学习训练和预测。

开源机器学习数据库 OpenMLDB：线上线下一致的生产级特征平台

本文整理自 OpenMLDB PMC 卢冕在 OpenMLDB Meetup No.6 中的分享——《开源机器学习数据库 OpenMLDB：线上线下一致的生产级特征平台》。

OpenMLDB 进阶使用攻略和高级特性介绍

本文整理自 OpenMLDB PMC 张浩在 OpenMLDB Meetup No.6 中的分享 ——《OpenMLDB 进阶使用和高级特性介绍》。

OpenMLDB 在 37 手游特征计算场景中的应用

本文整理自 37 手游技术主管彭佳铭和高级算法工程师左伟健在 OpenMLDB Meetup No.6 中的分享 ——《OpenMLDB 在 37 手游特征计算场景中的应用》。

OpenMLDB Meetup No.6 回顾 | OpenMLDB＋37手游：一键查收特征计算场景案例及进阶使用攻略

OpenMLDB Meetup No.6 回顾

OpenMLDB Airflow Connector：让 MLOps 工作流更自由

为提升 OpenMLDB 的易用性、便捷性，降低开发者的使用门槛，打造更顺滑高效的MLOps工作流，OpenMLDB 一直以来都在积极增进社区间合作，自觉生态上下游打通。今天的这篇文章要和大家介绍的就是 OpenMLDB 又一新生态组件——OpenMLDB Airflow Connector！这个工具是 OpenMLDB 和流行的生产级调度编排系统 Apache Airflow 积极整合的产物，也将是方便开发者打造端到端 MLOps 工作流的另一利器。

OpenMLDB＋Byzer，SQL 也能玩转机器学习全流程

本文整理自 Byzer PMC、Kyligence 技术合伙人祝海林在第四范式技术日「高效落地的AI开源生态」分论坛的主题分享——《OpenMLDB 和 Byzer 整合之路》。

如何选择架构中的底层工具？OpenMLDB 在 Akulaku 数据驱动中的应用实践给你答案

本文整理自第四范式技术日中 Akulaku 算法总监马宇翔在「高效落地AI工具链及开源生态」分论坛的演讲。

OpenMLDB v0.6.0 发布 | 便捷性、可用性大幅提升！

OpenMLDB 新版本 v0.6.0 已于近期（2022.8.10）发布。在本次的版本升级中，主要引入或者增强了以下产品特性

决策 AI：以高效落地为目标的工程技术

本文整理自第四范式技术日中第四范式技术总裁、基础技术负责人郑曌在主论坛的演讲。

首届第四范式 Tech Day 回顾

第四范式于 2022年8月11日举办了首届第四范式 Tech Day 活动，线上活动的相关视频及资料如下

深度解密 OpenMLDB 毫秒级实时在线特征计算引擎

本文整理自 OpenMLDB Meetup No.5 中 OpenMLDB PMC 邓龙的演讲。本文深入解析 OpenMLDB 架构设计背后的硬核技术，带领大家了解 OpenMLDB 毫秒级实时在线特征计算引擎内部实现。

OpenMLDB + OneFlow: 手把手教你快速链接特征工程到模型训练

本文整理自 OpenMLDB Meetup No.5 中 OpenMLDB PMC 黄威的演讲，将以 **京东高潜用户购买意向预测问题** 为例，示范如何使用 OpenMLDB 和 OneFlow 联合来打造一个完整的机器学习应用。分享视频如下

OpenMLDB Meetup No.5 会议纪要

OpenMLDB 社区于 2022年7月31日举行了第五期 meetup，会议相关视频及资料如下

OpenMLDB + Jupyter Notebook：快速搭建机器学习应用

OpenMLDB 是一个开源机器学习数据库，提供线上线下一致的生产级特征平台。Jupyter Notebook 提供了基于浏览器网页的数据计算、代码开发、文档编辑、代码执行以及结果展示等功能，是目前最流行和最易用的开发环境之一。本篇文章介绍 OpenMLDB 与 Notebook 的深度整合，充分利用了 OpenMLDB 强大的功能特性和 Notebook 的便利性，从而打造一个快捷易用的机器学习开发环境。

究竟都是谁在使用？OpenMLDB 落地案例大起底

本文整理自第四范式资深架构师、OpenMLDB PMC 卢冕在第四范式技术日「高效落地的AI开源生态」分论坛的主题分享——《开源机器学习数据库 OpenMLDB：提供线上线下一致的生产特征平台》。内容包括：感恩 OpenMLDB 贡献者 OpenMLDB 发展历程 OpenMLDB 架构设计 0.6.0 最新版本讲解落地案例分享

数据生态第三弹 | RocketMQ OpenMLDB Connector，实时数据到特征工程的高速传输

基于真实的企业业务场景，将线上实时数据更好更快地转化为 AI 可用特征是加速人工智能落地的有效路径之一。因此，OpenMLDB 积极打通数据生态上游，继面向实时消息队列 Pulsar、分布式流处理平台 Kafka 的两款 connector 发布后，OpenMLDB 和 RocketMQ 合作推出 RocketMQ OpenMLDB Connector，助力实时数据到特征工程的高速传输，加速人工智能工程化落地。未来 OpenMLDB 社区也将推出面向 Flink 的 connector，为开发者提供丰富的实时数据生态，为各类应用场景赋予高效特征工程能力。

演讲实录 | 性能及场景实践再升级的生产级特征平台 OpenMLDB v0.5.0 解析

在近期的 meetup 中 OpenMLDB PMC 卢冕以《OpenMLDB v0.5.0介绍：线上线下一致的生产级特征平台》为议题，从「人工智能工程化落地的数据和特征挑战」，「OpenMLDB：构建线上线下一致的生产级特征平台」，「 OpenMLDB v0.5.0：性能、成本、易用性升级」三个方面介绍开源机器学习数据库 OpenMLDB。本文节选演讲中首次对外展示的 OpenMLDB v0.5.0 性能升级展示和 OpenMLDB 应用案例介绍部分整理而成。

开源之夏 2022 火热来袭！欢迎报名 OpenMLDB 社区项目~

开源之夏 2022 火热来袭！欢迎报名 OpenMLDB 社区项目~这个夏天，OpenMLDB 期待更多同学参与到开源之夏活动当中，成为社区贡献者的一员！

贡献者任务第三期精彩来袭！

叮，你收到一封来自社区的新邮件：开源机器学习数据库OpenMLDB，邀请你参与第三期贡献者任务。

OpenMLDB官网升级，神秘贡献者地图带你快速进阶！

本次官网的更新包括贡献者地图、活动日历上线，贡献者和合作者名单的展示，还有在移动端的改善。具体细节请看下文吧！

构建面向特征工程的数据生态 ——拥抱开源生态，OpenMLDB全面打通MLOps生态工具链

随着业务的发展，模型应用场景的增加，AI 工程化落地成为了不少企业面对的切实挑战。近几年，应对这个痛点的新概念——MLOps 逐渐成为了机器学习领域的热门话题。OpenMLDB 提供FeatureOps 全栈解决方案，积极打通 MLOps工具链，建立起一个标准化的模型开发、部署与运维流程，降低开发者落地 AI 的门槛，使得企业组织能够更好地利用机器学习的能力来促进业务增长。

OpenMLDB：线上线下一致的生产级特征计算平台

希望这场分享能够帮助大家了解 OpenMLDB 是什么，能做什么，适用于哪些场景。同时本文也将首次介绍 OpenMLDB的使用场景和生态构建。

精彩联动！OpenMLDB Pulsar Connector原理和实操

人工智能工程化落地的关键点之一，在于解决真实业务场景的实时批量预估和实时模型更新问题。更好更快的将线上实时数据转化为AI可用的特征，将加速AI应用落地的效率及效果。为此，OpenMLDB 和 Apache Pulsar 合作推出OpenMLDB Pulsar Connector，实现稳定的流式集成，为高效打通实时数据到特征工程提供一条值得期待的清晰路径。

OpenMLDB Pulsar Connector：高效打通实时数据到特征工程

人工智能工程化落地的关键点之一，在于解决真实业务场景的实时批量预估和实时模型更新问题。更好更快地将线上实时数据转化为AI可用的特征，将加速AI应用落地的效率及效果。为此，OpenMLDB 和 Apache Pulsar 合作推出OpenMLDB Pulsar Connector，实现稳定的流式集成，为高效打通实时数据到特征工程提供一条值得期待的清晰路径。

OpenMLDB 获评 CSDN IT 技术影响力之星 “年度开源项目”奖项

3 月 30 日，CSDN 2021 年度 IT 技术影响力之星颁奖典礼成功举行，并揭晓了个人、公司和创新技术及产品等三大类共 12 个奖项的评选结果。在颁奖典礼上，OpenMLDB 作为国内首个开源机器学习数据库，凭借持续进步的技术创新、不断扩展的功能覆盖斩获“年度开源项目”奖项。

OpenMLDB 在线模块架构解析

OpenMLDB 的在线模块主要负责特征脚本上线以后的实时特征计算，因此对于低延迟、高并发、高可用等有较高的要求。

「转载」OpenMLDB/FEDB 论文阅读笔记

本文是知乎用户@李喆针对OpenMLDB在VLDB上发表的论文分享的读书笔记。

OpenMLDB 集群版使用流程及执行模式详解

OpenMLDB 针对线上线下的特征工程全流程，在不同阶段提供了不同的执行模式。尤其在生产环境下所使用的集群版，针对不同阶段做了较为复杂的执行模式的划分。本文集中说明在集群版 OpenMLDB 中，从特征开发到上线的全流程，及其相应的执行模式。

深入浅出特征工程 -- 基于 OpenMLDB 的实践指南（下）

在本篇文章中，我们将基于主表和副表，去展开详细介绍更加复杂和强大的基于多表的特征脚本开发。同时，我们依然依托 OpenMLDB 所提供的 SQL 语法进行特征工程脚本示例。

深入浅出特征工程 – 基于 OpenMLDB 的实践指南（上）

本文介绍了特征工程的基础概念、实践工具，以及基本的基于单表的特征脚本开发。

基于OpenMLDB v0.4.0快速搭建全流程线上AI应用

本文介绍了OpenMLDB 0.4.0最新版本上的一些新特性，单机版和集群版的快速上手，以及怎么基于这个版本来快速搭建一个全流程的线上AI应用。

开源机器学习数据库OpenMLDB v0.4.0产品介绍

OpenMLDDB v0.4.0 发布，增强 SQL 为核心的开发体验，引入线上监控。

OpenMLDB 12月会议纪要

OpenMLDB 社区于近期邀请了社区的贡献者和使用者举行了12月份的社区会议。

OpenMLDB: 拓展Spark源码实现高性能Join

OpenMLDB是针对AI场景优化的开源数据库项目，实现了数据与计算一致性的离线MPP场景和在线OLTP场景计算引擎。其实MPP引擎可基于Spark实现，并通过拓展Spark源码实现数倍性能提升。

OpenMLDB: 一文了解窗口倾斜优化技术细节

OpenMLDB是针对AI场景优化的开源数据库项目，实现了数据与计算一致性的离线MPP场景和在线OLTP场景计算引擎。MPP引擎可基于Spark实现，并通过拓展Spark源码实现数倍性能提升。本文主要解释OpenMLDB如何基于Spark来解决窗口数据的倾斜问题。

OpenMLDB v0.3.0 正式发布，支持快速部署使用的单机模式

OpenMLDB 社区于近期 2021年11月5日，正式发布了新版本 v0.3.0。在本版本中，第一次引入了单机模式，支持更为快速便捷的部署和上手使用体验。欢迎大家访问我们的 Github Repo 试用https://github.com/4paradigm/OpenMLDB。

Akulaku 智能风控场景实时特征计算

OpenMLDB 在金融科技类场景中不仅提升团队约一倍人效、节约数百万成本，同时也是相比 Spark、Flink 及其他 MPP 选型中唯一具备线性 scale 能力的方案。

某股份制商业银行 AI 反欺诈交易系统特征计算和管理

搭建以 OpenMLDB 为特征计算和管理平台的人工智能反欺诈交易系统，驱动反欺诈交易系统的正确、高效运行。

某金融服务机构 AIOps 场景特征计算优化

使用 OpenMLDB 的全栈 FeatureOps 能力实现针对特征计算的优化，资源消耗显著下降，低成本实现业务扩容，增强业务有效性。