使用 MinIO Enterprise 对象存储目录搜索和索引命名空间和元数据

我们最大的客户(拥有艾字节级数据和数千亿个对象)面临的挑战之一是无法有效地搜索和查询命名空间,从而为组织创建可用的清单。无论出于治理、审计、合规性或相关任务的考虑,这都是管理员的一项关键能力。MinIO 通过 MinIO 企业版对象存储目录解决了这一挑战,该目录仅在企业版产品中提供。
考虑问题的规模。
即使只有十亿个对象,LIST 函数也必须运行 1,000,000 次才能完成。这在计算上非常密集,并且会妨碍对象存储的核心功能,即有效地服务对象。即使您在十亿个对象上运行了 LIST 函数,您仍然没有得到任何可用的东西。然后,您需要运行 HEAD 对象命令来检索对象的元数据(正如我们所知,这不会返回对象本身)。
即使您已经这样做了,您也无法查询元数据。除非当然,您建立了一个该元数据的数据库。如前所述,这是一个糟糕的主意,在规模(尤其是这种规模)上容易发生故障。
即使是亚马逊的 S3 Inventory 产品也是命令、CSV 和 Presto 数据库的拼凑(运行 -> 导出 -> 上传 -> 查询)。
对象存储领域需要一个简单而强大的解决方案来解决这个问题。这就是我们构建 MinIO 企业版目录的原因。通过添加 MinIO 企业版目录功能,管理员无需执行任何操作即可访问其命名空间的完整视图,并能够使用熟悉且快速的 GraphQL 接口查询该命名空间(以及关联的元数据)。
用户可以通过一个简单易用的界面(MinIO 企业版对象存储控制台)访问所有这些功能,而无需任何外部服务或数据库。此外,MinIO 的企业版目录始终是最新的——任何手动构建的方法在数据导出之前都会过时——使用企业版目录,数据会自动索引并随时可以被使用。让我们看看它如何在企业版控制台中运行,以回答以下问题:数千亿个对象分布在多个存储桶中
- 哪些对象的键或文件名包含某个前缀?
- 在此日期之后添加了多少个对象?
- 有多少个对象的尺寸大于某个特定大小?
MinIO 企业版目录如何增强对象存储管理
企业版目录可以通过两种关键方式增强 MinIO 中的对象存储管理
- 高效查询:企业版目录通过提供内置的、易于使用的 GraphQL 界面,使用户能够轻松浏览对象存储命名空间。此功能对于常见的但关键的任务(例如费用分配计算、合规性检查和其他操作自动化)非常宝贵。
- 实时、持续更新的信息:企业版目录的一项突出功能是它提供实时、持续更新的信息,而不会影响系统性能。对于需要了解动态数据集而又不影响存储基础设施速度和响应能力的用户来说,此功能是一个改变游戏规则的功能。
使用案例
以下是一些可能的用例
- 合规性检查:企业版目录在简化合规性管理方面发挥着至关重要的作用,因为它可以通过对具有特定元数据的对象进行实时检查来实现。此功能确保治理和安全协议不仅已建立,而且始终是最新的。无论是验证是否符合行业标准还是确认数据分类,目录通过 GraphQL 接口进行的高效查询使其成为维护法规遵从性的宝贵工具。
- 操作自动化:企业版目录被证明是操作自动化的基石,简化了用户的各种日常任务。从检查复制状态到维护细致的库存控制,GraphQL 接口使用户能够轻松浏览和管理其对象存储环境。这不仅提高了整体运营效率,而且使用户能够主动及时解决任何潜在问题。目录的实时、持续更新的信息确保自动化流程以高精度执行,从而有助于实现更精简和更具响应性的操作工作流程。
- 管理空间利用率:企业版目录提供了一个工具,允许用户快速计算 MinIO 中具有特定前缀或其他元数据命名空间查询参数的对象所使用的空间量。此操作避免了效率低得多的列出所有对象的行动,从而节省了 MinIO 服务器宝贵的 IOPS。
结论
MinIO 企业版对象存储目录功能体现了 MinIO 的创新和以用户为中心的理念。通过提供 GraphQL 接口,MinIO 简化了对对象存储元数据执行复杂查询的过程,无需自定义脚本。
从本质上讲,企业版目录不仅仅是一项功能;它代表了一种面向未来的对象存储方法。它与我们客户不断变化的需求完美契合,提供了一个动态且响应式的解决方案,为用户友好的设计和性能优化树立了标杆。随着 MinIO 的不断发展,企业版目录功能成为了精心设计的创新如何提升存储解决方案的功能和可用性的一个典型例子。
在您自己实施 MinIO 的企业版目录时,如有任何疑问或疑虑,请通过 hello@min.io 或我们的 Slack 频道与我们联系。