迁移至 AI 就绪型基础设施:从 Hitachi Content Platform 迁移到 MinIO

从日立内容平台 (HCP) 迁移到 MinIO 从未如此简单,这要归功于我们的 HCP 到 MinIO 工具。该工具旨在支持我们客户不断发展的存储需求,可在 GitHub 上免费获取,并极大地简化了迁移过程。许多组织正在进行迁移,以利用 MinIO 为 AI 基础设施优化的现代、可扩展且高性能的对象存储。本教程提供了一个全面的分步指南,以确保平稳高效地过渡到 MinIO。
为什么要迁移到 MinIO?
客户通常出于多种令人信服的原因从 HCP 迁移到 MinIO,尤其是在针对 AI 驱动应用程序进行优化时
1. 现代应用程序需求:MinIO 是 Kubernetes 原生的,并为 云运营模式 而构建,这意味着它本质上支持大多数用于分析、统计分析和 AI/ML 工作负载的现代应用程序堆栈。
2. 大规模性能:MinIO 有效处理混合对象大小,从小到很大,确保数据密集型 AI 操作的最佳性能。
3. 灵活性:与专用存储设备相比,软件定义的、兼容 S3 的对象存储提供了更大的灵活性和云中立性。
HCP 到 MinIO 迁移过程
在迁移期间,建议仅写入 MinIO,而不是写入 HCP。这种方法确保您按照计划进行操作:将 MinIO 用作您的主要对象存储。以下是流程
1. 初始读取操作:在迁移期间,`getobject` 调用将定向到 MinIO。如果未找到对象,则从 HCP 读取。复制所有对象后,可以删除此回退。
2. 保留元数据:该工具在迁移过程中保留对象的修改时间戳。
步骤 1:创建临时目录
下载 HCP 到 MinIO 工具后,第一步是为步骤 2 中 list 命令的结果创建一个临时目录
$ mkdir /tmp/data
接下来,设置以下环境变量
$ export MINIO_ACCESS_KEY=<Your-MinIO-Access-Key>
$ export MINIO_SECRET_KEY=<Your-MinIO-Secret-Key>
$ export MINIO_ENDPOINT=https://<Your-MinIO-IP-Address>:9000
$ export MINIO_BUCKET=newbucket # optional, if unspecified HCP bucket name is used
步骤 2:列出 HCP 中的对象
list
命令生成存储在 HCP 中的对象列表,并将其保存到本地文件。此文件可以拆分为较小的列表,并由多台客户端机器并行处理,以加快迁移速度。
以下是命令
hcp-to-minio list --auth-token --namespace-url --host-header --namespace-url --dir
以及它可能的样子示例:
$ hcp-to-minio list --auth-token "HCP bXl1c2Vy:3f3c6784e97531774380db177774ac8d" --host-header "HOST:s3testbucket.tenant.hcp.example.com" --namespace-url "https://hcp-vip.example.com" --dir "/tmp/data"
步骤 3:将对象迁移到 MinIO
migrate
命令使用第一步中生成的列表将对象从 HCP 迁移到 MinIO。
命令
hcp-to-minio migrate --namespace-url --auth-token --host-header --data-dir --bucket --input-file
示例:
$ hcp-to-minio migrate --namespace-url https://finance.europe.hcp.example.com --auth-token "HCP bXl1c2Vy:3f3c6784e97531774380db177774ac8d" --host-header "s3testbucket.sandbox.hcp.example.com" --data-dir /mnt/data --bucket s3testbucket --input-file /tmp/data/to-migrate.txt
开始使用
HCP 到 MinIO 工具旨在帮助您迁移到现代、可扩展的对象存储解决方案。从 GitHub 下载该工具,并立即开始迁移。如有任何疑问或需要其他支持,请联系我们 hello@min.io。