简介

Amazon S3（以下简称 S3）是一种非常受欢迎的云存储服务，它以其卓越的扩展性、安全性和稳定性而广受全球企业和开发者的喜爱。在新发布的 OpenMLDB v0.8.0 版本中，新增加了对于 Amazon S3 作为离线数据源的支持，其带来的主要好处包括：

1. 安全性和稳定性：S3 提供高级别的安全保障，以保护您的数据。
2. 扩展性和灵活性：S3 能够轻松处理任意量级的数据，提供高效的大规模数据管理能力。
3. 成本效益：只需根据实际使用的存储量来付费，无需为未使用的存储空间付费。

配置方法

为了在 OpenMLDB 中使用 Amazon S3 作为离线数据源，需要做如下配置：

• 首先需要在 AWS 上注册帐号，并且创建有效的 AccessKey 和 SecretKey。
• 在 OpenMLDB 的 TaskManager 的部署文件 taskmanager.properties 中，添加以下配置，注意修改内容为个人的 AccessKey 和 SecretKey：

spark.default.conf=spark.hadoop.fs.s3a.access.key=xxx;spark.hadoop.fs.s3a.secret.key=xxx

• 配置后重启 TaskManager 服务，后续加载离线数据时，无论是硬拷贝还是软链接都可以使用 S3 路径进行导入。

以下“应用实践”展示详细使用步骤。完整产品文档参考： https://openmldb.ai/docs/zh/main/integration/offline_data_sources/s3.html 。

应用实践

以下具体演示使用 OpenMLDB 直接访问 S3 数据进行特征抽取，并使用软链接方式避免从 S3 拷贝原始数据到本地。

第一步，注册 AWS 帐号，开通 S3 服务，并且申请可用的 AccessKey 和 SecretKey。 准备好后，我们可以使用浏览器或 S3 工具来上传数据到 S3 对应的 bucket 中，这里我们提前上传好数据文件。

第二步，启动 OpenMLDB 集群，按照官方文档配置好 AWS 的 AccessKey 和 SecretKey，启动后可以使用命令行（OpenMLDB CLI）的命令 SHOW COMPONENTS 测试 OpenMLDB 所有组件是否正常。

关于 OpenMLDB CLI 的使用参考：https://openmldb.ai/docs/zh/main/quickstart/cli.html

第三步，创建数据库和数据表进行测试。 这里创建一个数据库 db1 和数据表 t1。

第四步，使用 LOAD DATA INFILE 命令导入 S3 的数据到离线表中。 下图演示了把 OpenMLDB 设置为离线模式，并且导入 S3 的数据到离线表中：

导入成功后，可以看到数据表的离线存储中 symbolic paths 已经添加了 S3 的数据路径，而没有实际的数据拷贝。

第五步，我们可以使用 OpenMLDB SQL 进行离线特征抽取，直接读取 S3 上面的数据，并且把计算后的特征到处到本地进行模型训练，下面演示最简单的SQL例子。

此外，OpenMLDB 也支持把 S3 的数据导入到在线表中， 用于服务上线的冷启动。下图演示了把 OpenMLDB 设置为在线模式，并且导入 S3 的数据到在线表中：

相关阅读

• OpenMLDB 整合 Amazon S3 的产品文档：https://openmldb.ai/docs/zh/main/integration/offline_data_sources/s3.html
• 数据导入命令 LODA DATA INFILE 详细解释：https://openmldb.ai/docs/zh/main/openmldb_sql/dml/LOAD_DATA_STATEMENT.html
• OpenMLDB 使用流程快速上手：https://openmldb.ai/docs/zh/main/quickstart/concepts/modes.html
• OpenMLDB 产品文档：https://openmldb.ai/docs/zh
• OpenMLDB 开发者博客：欢迎来到 OpenMLDB 开发者空间
• OpenMLDB 微信技术交流群：