博客
博客
全部
应用场景
版本发布
技术原理
社区会议纪要
性能测试
OpenMLDB v0.7.0 发布
2023 新年伊始,OpenMLDB v0.7.0 正式发布。
发布时间:2023-01-12
双存储引擎架构和性能评测
OpenMLDB 的线上服务部分为了满足不同的性能和成本需求,提供了两种分别基于内存和磁盘的存储引擎。
发布时间:2022-12-22
数据生态第四弹 | OpenMLDB Hive Connector,架构起数据仓库到特征工程的生态桥梁
近日,OpenMLDB 实现了与开源数据仓库软件 Hive 的连接,继完成与 Kafka、Pulsar、RocketMQ 等实时数据源生态整合后,持续构建离线数据生态,期待建设一个更加全面一体的上下游生态圈,在吸引更多用户的同时也能降低用户的使用门槛。
发布时间:2022-12-12
演讲实录|OpenMLDB 与阿里云 MaxCompute 生态集成
在 OpenMLDB 第 8 期 Meetup 中,OpenMLDB PMC 陈迪豪以出租车行车时间预测问题为例,使用 OpenMLDB 基于阿里云 MaxCompute 的 Serverless 服务搭建机器学习应用,从数据引入开始,实现了端到端的机器学习应用全流程构建。
发布时间:2022-12-12
Meetup No.8 回顾 | OpenMLDB + MaxCompute:集成打通云上生态,高效构建 AI 应用
OpenMLDB Meetup No.8 活动回顾
发布时间:2022-12-08
OpenMLDB 社区月报 | 2022年11月
十一月,OpenMLDB 进行了高频的小版本迭代,共发布四个版本,平均每周一次。v0.6.5、v0.6.6、v0.6.7 和 v0.6.8 陆续与广大开发者见面,在增强功能的同时,也提高了运维效率,对易用性、可观测性、自动化等方面进行了改进。
发布时间:2022-12-08
OpenMLDB 实时引擎性能测试报告
发布时间:2022-05-26
OpenMLDB v0.6 新版本运维功能增强
在过去的一个月里,OpenMLDB 快速迭代了多个小版本 (v0.6.4-v0.6.6),在增强功能的同时,也提高了运维效率。在运维方面,进行了对易用性、可观测性、自动化等方面的改进。本文将介绍 OpenMLDB 在 v0.6 版本迭代过程中运维方面所做的优化。
发布时间:2022-11-18
OpenMLDB 社区月报 | 2022年10月
OpenMLDB 开源机器学习数据库,提供线上线下一致的生产级特征平台。
发布时间:2022-11-16
演讲实录 | OpenMLDB 整合自动特征工程
发布时间:2022-11-10
OpenMLDB Meetup No.7 回顾 | OpenMLDB+AutoX:整合自动特征工程,拥抱高效机器学习
OpenMLDB Meetup No.7 回顾
发布时间:2022-11-10
OpenMLDB 线上引擎资源需求预估模型,助你快速预估资源消耗
OpenMLDB 线上计算的最大优势为可以低延迟(毫秒级)高效处理实时特征计算请求。其中,为了达到低延迟,OpenMLDB 默认使用了基于内存的存储引擎。但是,当业务增长时,对于内存资源消耗以及访问吞吐需求的压力也会上升。本篇文章主要介绍基于 **内存存储引擎** 的资源预估(磁盘引擎见最后的说明),可以帮你更好的预估、配置用于部署 OpenMLDB 的机器资源。
发布时间:2022-11-01
OpenMLDB 新手宝典 开发者上手必读
OpenMLDB作为分布式系统,模式多样、客户端丰富,初次使用可能会遇到安装部署或者运行使用方面的问题。
发布时间:2022-10-26
基于 OpenMLDB 的联邦学习方案被国际数据挖掘学术会议 CIKM 录取
本周,数据挖掘领域的国际顶级学术会议 **CIKM 2022** (https://www.cikm2022.org/) 正在美国亚特兰大举行。由第四范式和新加坡国立大学合作的论文 **"A System for Time Series Feature Extraction in Federated Learning"** 被 CIKM 录取。
发布时间:2022-10-19
场景驱动的特征计算方式OpenMLDB,高效实现“现算现用”
在特征计算系统的实现上,Akulaku采用场景驱动方式,通过使用OpenMLDB,更加高效地实现特征“现算现用”。
发布时间:2022-09-19
【转载】Byzer + OpenMLDB 实现端到端的,基于实时特征计算的机器学习流程
本文示范如何使用 OpenMLDB 和 Byzer-lang 联合完成一个完整的机器学习应用。Byzer-lang 作为面向大数据和 AI 的一门语言,通过 Byzer-Notebook 和用户进行交互,用户可以轻松完成数据的抽取、ETL、特征/模型训练、保存、部署到最后预测等整个端到端的机器学习流程。 OpenMLDB 在本例中接收 Byzer 发送的指令和数据,完成数据的实时特征计算,并经特征工程处理后的数据集返回 Byzer,供其进行后续的机器学习训练和预测。
发布时间:2022-10-11
开源机器学习数据库 OpenMLDB:线上线下一致的生产级特征平台
本文整理自 OpenMLDB PMC 卢冕 在 OpenMLDB Meetup No.6 中的分享——《开源机器学习数据库 OpenMLDB:线上线下一致的生产级特征平台》。
发布时间:2022-10-08
OpenMLDB 进阶使用攻略和高级特性介绍
本文整理自 OpenMLDB PMC 张浩在 OpenMLDB Meetup No.6 中的分享 ——《OpenMLDB 进阶使用和高级特性介绍》。
发布时间:2022-09-29
OpenMLDB 在 37手游 特征计算场景中的应用
本文整理自 37 手游 技术主管彭佳铭 和 高级算法工程师左伟健在 OpenMLDB Meetup No.6 中的分享 ——《OpenMLDB 在 37 手游 特征计算场景中的应用》。
发布时间:2022-09-28
OpenMLDB Meetup No.6 回顾 | OpenMLDB+37手游:一键查收特征计算场景案例及进阶使用攻略
OpenMLDB Meetup No.6 回顾
发布时间:2022-09-27
OpenMLDB Airflow Connector:让 MLOps 工作流更自由
为提升 OpenMLDB 的易用性、便捷性,降低开发者的使用门槛,打造更顺滑高效的MLOps工作流,OpenMLDB 一直以来都在积极增进社区间合作,自觉生态上下游打通。今天的这篇文章要和大家介绍的就是 OpenMLDB 又一新生态组件——OpenMLDB Airflow Connector!这个工具是 OpenMLDB 和流行的生产级调度编排系统 Apache Airflow 积极整合的产物,也将是方便开发者打造端到端 MLOps 工作流的另一利器。
发布时间:2022-08-23
OpenMLDB+Byzer,SQL 也能玩转机器学习全流程
本文整理自 Byzer PMC、Kyligence 技术合伙人祝海林在第四范式技术日「高效落地的AI开源生态」分论坛的主题分享——《OpenMLDB 和 Byzer 整合之路》。
发布时间:2022-08-21
如何选择架构中的底层工具?OpenMLDB 在 Akulaku 数据驱动中的应用实践给你答案
本文整理自第四范式技术日中 Akulaku 算法总监马宇翔在「高效落地AI工具链及开源生态」分论坛的演讲。
发布时间:2022-08-18
OpenMLDB v0.6.0 发布 | 便捷性、可用性大幅提升!
OpenMLDB 新版本 v0.6.0 已于近期(2022.8.10)发布。在本次的版本升级中,主要引入或者增强了以下产品特性
发布时间:2022-08-16
决策 AI:以高效落地为目标的工程技术
本文整理自第四范式技术日中第四范式技术总裁、基础技术负责人郑曌在主论坛的演讲。
发布时间:2022-08-15
首届第四范式 Tech Day 回顾
第四范式于 2022年8月11日举办了首届第四范式 Tech Day 活动,线上活动的相关视频及资料如下
发布时间:2022-08-12
深度解密 OpenMLDB 毫秒级实时在线特征计算引擎
本文整理自 OpenMLDB Meetup No.5 中 OpenMLDB PMC 邓龙的演讲。本文深入解析 OpenMLDB 架构设计背后的硬核技术,带领大家了解 OpenMLDB 毫秒级实时在线特征计算引擎内部实现。
发布时间:2022-08-05
OpenMLDB + OneFlow: 手把手教你快速链接特征工程到模型训练
本文整理自 OpenMLDB Meetup No.5 中 OpenMLDB PMC 黄威的演讲,将以 **京东高潜用户购买意向预测问题** 为例,示范如何使用 OpenMLDB 和 OneFlow 联合来打造一个完整的机器学习应用。分享视频如下
发布时间:2022-08-03
OpenMLDB Meetup No.5 会议纪要
OpenMLDB 社区于 2022年7月31日举行了第五期 meetup,会议相关视频及资料如下
发布时间:2022-08-02
OpenMLDB + Jupyter Notebook:快速搭建机器学习应用
OpenMLDB 是一个开源机器学习数据库,提供线上线下一致的生产级特征平台。Jupyter Notebook 提供了基于浏览器网页的数据计算、代码开发、文档编辑、代码执行以及结果展示等功能,是目前最流行和最易用的开发环境之一。本篇文章介绍 OpenMLDB 与 Notebook 的深度整合,充分利用了 OpenMLDB 强大的功能特性和 Notebook 的便利性,从而打造一个快捷易用的机器学习开发环境。
发布时间:2022-08-01
究竟都是谁在使用?OpenMLDB 落地案例大起底
本文整理自第四范式资深架构师、OpenMLDB PMC 卢冕在第四范式技术日「高效落地的AI开源生态」分论坛的主题分享——《开源机器学习数据库 OpenMLDB:提供线上线下一致的生产特征平台》。内容包括: 感恩 OpenMLDB 贡献者 OpenMLDB 发展历程 OpenMLDB 架构设计 0.6.0 最新版本讲解 落地案例分享
发布时间:2022-08-29
数据生态第三弹 | RocketMQ OpenMLDB Connector,实时数据到特征工程的高速传输
基于真实的企业业务场景,将线上实时数据更好更快地转化为 AI 可用特征是加速人工智能落地的有效路径之一。因此,OpenMLDB 积极打通数据生态上游,继面向实时消息队列 Pulsar、分布式流处理平台 Kafka 的两款 connector 发布后,OpenMLDB 和 RocketMQ 合作推出 RocketMQ OpenMLDB Connector,助力实时数据到特征工程的高速传输,加速人工智能工程化落地。 未来 OpenMLDB 社区也将推出面向 Flink 的 connector,为开发者提供丰富的实时数据生态,为各类应用场景赋予高效特征工程能力。
发布时间:2022-06-28
演讲实录 | 性能及场景实践再升级的生产级特征平台 OpenMLDB v0.5.0 解析
在近期的 meetup 中 OpenMLDB PMC 卢冕以《OpenMLDB v0.5.0介绍:线上线下一致的生产级特征平台》为议题,从「 人工智能工程化落地的数据和特征挑战」 ,「OpenMLDB:构建线上线下一致的生产级特征平台」,「 OpenMLDB v0.5.0:性能、成本、易用性升级」三个方面介绍开源机器学习数据库 OpenMLDB。本文节选演讲中首次对外展示的 OpenMLDB v0.5.0 性能升级展示 和 OpenMLDB 应用案例介绍 部分整理而成。
发布时间:2022-06-09
开源之夏 2022 火热来袭!欢迎报名 OpenMLDB 社区项目~
开源之夏 2022 火热来袭!欢迎报名 OpenMLDB 社区项目~这个夏天,OpenMLDB 期待更多同学参与到开源之夏活动当中,成为社区贡献者的一员!
发布时间:2022-05-10
贡献者任务第三期精彩来袭!
叮,你收到一封来自社区的新邮件:开源机器学习数据库OpenMLDB,邀请你参与第三期贡献者任务。
发布时间:2022-05-10
OpenMLDB官网升级,神秘贡献者地图带你快速进阶!
本次官网的更新包括贡献者地图、活动日历上线,贡献者和合作者名单的展示,还有在移动端的改善。具体细节请看下文吧!
发布时间:2022-05-09
构建面向特征工程的数据生态 ——拥抱开源生态,OpenMLDB全面打通MLOps生态工具链
随着业务的发展,模型应用场景的增加,AI 工程化落地成为了不少企业面对的切实挑战。近几年,应对这个痛点的新概念——MLOps 逐渐成为了机器学习领域的热门话题。OpenMLDB 提供FeatureOps 全栈解决方案,积极打通 MLOps工具链,建立起一个标准化的模型开发、部署与运维流程,降低开发者落地 AI 的门槛,使得企业组织能够更好地利用机器学习的能力来促进业务增长。
发布时间:2022-05-07
OpenMLDB:线上线下一致的生产级特征计算平台
希望这场分享能够帮助大家了解 OpenMLDB 是什么,能做什么,适用于哪些场景。同时本文也将首次介绍 OpenMLDB的使用场景和生态构建。
发布时间:2022-04-29
精彩联动!OpenMLDB Pulsar Connector原理和实操
人工智能工程化落地的关键点之一,在于解决真实业务场景的实时批量预估和实时模型更新问题。更好更快的将线上实时数据转化为AI可用的特征,将加速AI应用落地的效率及效果。为此,OpenMLDB 和 Apache Pulsar 合作推出OpenMLDB Pulsar Connector,实现稳定的流式集成,为高效打通实时数据到特征工程提供一条值得期待的清晰路径。
发布时间:2022-04-27
OpenMLDB Pulsar Connector:高效打通实时数据到特征工程
人工智能工程化落地的关键点之一,在于解决真实业务场景的实时批量预估和实时模型更新问题。更好更快地将线上实时数据转化为AI可用的特征,将加速AI应用落地的效率及效果。为此,OpenMLDB 和 Apache Pulsar 合作推出OpenMLDB Pulsar Connector,实现稳定的流式集成,为高效打通实时数据到特征工程提供一条值得期待的清晰路径。
发布时间:2022-04-27
OpenMLDB 获评 CSDN IT 技术影响力之星 “年度开源项目”奖项
3 月 30 日,CSDN 2021 年度 IT 技术影响力之星颁奖典礼成功举行,并揭晓了个人、公司和创新技术及产品等三大类共 12 个奖项的评选结果。在颁奖典礼上,OpenMLDB 作为国内首个开源机器学习数据库,凭借持续进步的技术创新、不断扩展的功能覆盖斩获“年度开源项目”奖项。
发布时间:2022-04-27
OpenMLDB 在线模块架构解析
OpenMLDB 的在线模块主要负责特征脚本上线以后的实时特征计算,因此对于低延迟、高并发、高可用等有较高的要求。
发布时间:2022-04-27
「转载」OpenMLDB/FEDB 论文阅读笔记
本文是知乎用户@李喆 针对OpenMLDB在VLDB上发表的论文分享的读书笔记。
发布时间:2022-03-21
OpenMLDB 集群版使用流程及执行模式详解
OpenMLDB 针对线上线下的特征工程全流程,在不同阶段提供了不同的执行模式。尤其在生产环境下所使用的集群版,针对不同阶段做了较为复杂的执行模式的划分。本文集中说明在集群版 OpenMLDB 中,从特征开发到上线的全流程,及其相应的执行模式。
发布时间:2022-03-10
深入浅出特征工程 -- 基于 OpenMLDB 的实践指南(下)
在本篇文章中,我们将基于主表和副表,去展开详细介绍更加复杂和强大的基于多表的特征脚本开发。同时,我们依然依托 OpenMLDB 所提供的 SQL 语法进行特征工程脚本示例。
发布时间:2022-02-25
深入浅出特征工程 – 基于 OpenMLDB 的实践指南(上)
本文介绍了特征工程的基础概念、实践工具,以及基本的基于单表的特征脚本开发。
发布时间:2022-02-25
基于OpenMLDB v0.4.0快速搭建全流程线上AI应用
本文介绍了OpenMLDB 0.4.0最新版本上的一些新特性,单机版和集群版的快速上手,以及怎么基于这个版本来快速搭建一个全流程的线上AI应用。
发布时间:2022-01-21
开源机器学习数据库OpenMLDB v0.4.0产品介绍
OpenMLDDB v0.4.0 发布,增强 SQL 为核心的开发体验,引入线上监控。
发布时间:2022-01-21
OpenMLDB 12月会议纪要
OpenMLDB 社区于近期邀请了社区的贡献者和使用者举行了12月份的社区会议。
发布时间:2021-12-31
OpenMLDB: 拓展Spark源码实现高性能Join
OpenMLDB是针对AI场景优化的开源数据库项目,实现了数据与计算一致性的离线MPP场景和在线OLTP场景计算引擎。其实MPP引擎可基于Spark实现,并通过拓展Spark源码实现数倍性能提升。
发布时间:2021-09-14
OpenMLDB: 一文了解窗口倾斜优化技术细节
OpenMLDB是针对AI场景优化的开源数据库项目,实现了数据与计算一致性的离线MPP场景和在线OLTP场景计算引擎。MPP引擎可基于Spark实现,并通过拓展Spark源码实现数倍性能提升。本文主要解释OpenMLDB如何基于Spark来解决窗口数据的倾斜问题。
发布时间:2021-09-16
OpenMLDB v0.3.0 正式发布,支持快速部署使用的单机模式
OpenMLDB 社区于近期 2021年11月5日,正式发布了新版本 v0.3.0。在本版本中,第一次引入了单机模式,支持更为快速便捷的部署和上手使用体验。欢迎大家访问我们的 Github Repo 试用https://github.com/4paradigm/OpenMLDB。
发布时间:2021-11-09
Akulaku 智能风控场景实时特征计算
OpenMLDB在金融科技类场景中不仅提升团队约一倍人效、节约数百万成本,同时也是相比 Spark、Flink 及其他MPP选型中唯一具备线性scale能力的方案。
发布时间:2022-01-21
某股份制商业银行 AI反欺诈交易系统 特征计算和管理
搭建以 OpenMLDB 为特征计算和管理平台的人工智能反欺诈交易系统,驱动反欺诈交易系统的正确、高效运行。
发布时间:2022-01-10
某金融服务机构 AIOps 场景 特征计算优化
使用OpenMLDB 的全栈 FeatureOps 能力实现针对特征计算的优化,资源消耗显著下降,低成本实现业务扩容,增强业务有效性。
发布时间:2022-01-10