OpenMLDB 线上引擎资源需求预估模型,助你快速预估资源消耗
OpenMLDB 线上计算的最大优势为可以低延迟(毫秒级)高效处理实时特征计算请求。其中,为了达到低延迟,OpenMLDB 默认使用了基于内存的存储引擎。但是,当业务增长时,对于内存资源消耗以及访问吞吐需求的压力也会上升。本篇文章主要介绍基于 **内存存储引擎** 的资源预估(磁盘引擎见最后的说明),可以帮你更好的预估、配置用于部署 OpenMLDB 的机器资源。
OpenMLDB 线上计算的最大优势为可以低延迟(毫秒级)高效处理实时特征计算请求。其中,为了达到低延迟,OpenMLDB 默认使用了基于内存的存储引擎。但是,当业务增长时,对于内存资源消耗以及访问吞吐需求的压力也会上升。本篇文章主要介绍基于 **内存存储引擎** 的资源预估(磁盘引擎见最后的说明),可以帮你更好的预估、配置用于部署 OpenMLDB 的机器资源。
自今年启动 OpenMLDB 贡献者计划后,我们陆陆续续收到了来自世界各地开发者的支持和鼓励,也在各位的帮助下见证了 OpenMLDB 一步步的迭代升级,一次次的成熟完善。
10月27日 下午14:30-15:30,OpenMLDB PMC、第四范式资深体系架构科学家 张浩,将在 2022 SACC 中国系统架构师大会中为大家带来议题为《开源机器学习数据库 OpenMLDB:线上线下一致的高可用特征平台》的内容分享。
2022年10月29日(周六)上午 10:00-12:00,开源机器学习数据库 OpenMLDB 第七期 Meetup 将通过线上直播的形式展开。
本周,数据挖掘领域的国际顶级学术会议 **CIKM 2022** (https://www.cikm2022.org/) 正在美国亚特兰大举行。由第四范式和新加坡国立大学合作的论文 **"A System for Time Series Feature Extraction in Federated Learning"** 被 CIKM 录取。
在 10 月,OpenMLDB 与 Jina AI、太极图形、OpenPPL、电鸭社区、Ladies Who Tech、云启资本等合作伙伴,举办围绕开发者文化的 1024 嘉年华活动,一起做有意思的活动,发现有意思的开发者,共创有意思的项目!
10月12日 北京时间上午 7:05-7:15(10.11 16:05-16:15 GMT -7),OpenMLDB PMC、第四范式系统架构师卢冕,将在 Feature Store Summit 2022 活动中为大家带来议题为《OpenMLDB: An Open-Source Real-Time Feature Platform Computing Consistent Features for Training and Inference》的内容分享。
本文示范如何使用 OpenMLDB 和 Byzer-lang 联合完成一个完整的机器学习应用。Byzer-lang 作为面向大数据和 AI 的一门语言,通过 Byzer-Notebook 和用户进行交互,用户可以轻松完成数据的抽取、ETL、特征/模型训练、保存、部署到最后预测等整个端到端的机器学习流程。
OpenMLDB 在本例中接收 Byzer 发送的指令和数据,完成数据的实时特征计算,并经特征工程处理后的数据集返回 Byzer,供其进行后续的机器学习训练和预测。