导读
OpenMLDB 新版本 v0.6.0 已于近期(2022.8.10)发布。在本次的版本升级中,主要引入或者增强了以下产品特性:
- 全新的智能诊断工具:实验功能上线,便于问题排查
- 进一步开源生态整合:完成和 Airflow 整合
- SQL 语法持续增强:多场景使用,高可用性增强
升级一
全新的智能诊断工具上线
OpenMLDB 作为一个分布式的数据库系统,在运维、开发上较为复杂,一旦集群出现异常状态,排查需要较多的经验和时间成本。为了降低 OpenMLDB 的整体运维成本,我们在这个版本引入了全新的智能诊断工具。目前诊断工具主要包含两个功能:
-
服务状态检查:通过运行一系列的检查脚本,来判断当前 OpenMLDB 的服务状态是否异常,比如版本校验、配置文件检查等,并且通过运行一个基本的测试负载,来判断整体服务状态。
-
智能日志搜集:在服务状态检查的过程中,该工具将会自动搜集有价值的日志信息,最终打包存储在指定位置。有了相关日志信息,可以帮助用户和开发者快速定位问题
上图显示了运行诊断工具的一个实测截图。该工具的详细用法请参考:https://openmldb.ai/docs/zh/main/maintain/diagnose.html。
智能诊断工具目前还处在实验阶段,尚有不完善的地方,欢迎大家试用并提出宝贵意见。
升级二
OpenMLDB + Airflow 生态整合
本版本继续加强和上下游开源生态的整合,包含了和流行的生产级调度编排系统 Apache Airflow 的整合。OpenMLDB 已经作为 Airflow 生态系统的第三方插件,完成了和 Airflow 社区的整合。
(https://airflow.apache.org/ecosystem/#third-party-airflow-plugins-and-providers)
上图显示了整合以后 OpenMLDB 作为机器学习 pipeline 里面的特征处理节点。
-
关于该整合插件的详细使用方法和使用案例:https://openmldb.ai/docs/zh/main/use_case/airflow_provider_demo.html
-
插件相关代码:https://github.com/4paradigm/OpenMLDB/tree/main/extensions/airflow-provider-openmldb
升级三
SQL 语法增强
本次版本做了较多的 SQL 语法增强,可以让 OpenMLDB 适用于更多的场景。主要包含:
-
支持事后实时决策场景的新语法
EXCLUDE CURRENT_ROW
。OpenMLDB 之前主要支持事中实时决策场景,所以在做实时计算的时候默认需要带入事中数据。该方式对于事后实时决策场景较为不友好,因此我们通过新的语法支持来更好的适配事后实时决策场景。详见:https://openmldb.ai/docs/zh/main/reference/sql/dql/WINDOW_CLAUSE.html?highlight=exclude%20current_row#window-with-exclude-current-row关于该新语法的使用场景举例也将在近期推出相关文章,敬请期待。
-
支持数据删除语法
DELETE
。OpenMLDB 之前并没有支持数据删除操作,对于某些场景会有局限性。在此版本中,我们增加了数据删除操作,详见:https://openmldb.ai/docs/zh/main/reference/sql/dml/DELETE_STATEMENT.html -
预聚合支持带有筛选条件的聚合函数(即带有
_where
后缀),详见说明 https://openmldb.ai/docs/zh/main/reference/sql/deployment_manage/DEPLOY_STATEMENT.html?#id3 -
新增内置计算函数,包含
char(int)
,char_length
,character_length
,radians
,hex
,median
。
了解更多
OpenMLDB GitHub 链接: https://github.com/4paradigm/OpenMLDB
OpenMLDB v 0.6.0 链接: https://github.com/4paradigm/OpenMLDB/releases/tag/v0.6.0
OpenMLDB 交流群: