在 VMware vSphere 7.0 上运行超大规模高性能对象存储:技术深度解析

将 IT、管理员和应用程序汇聚在一起
VMware 的 vSphere 7.0 版本引入了一些令人兴奋的新功能。其中之一是 Supervisor Services,它允许您直接从 vSphere UI 安装数据库、消息代理和超大规模高性能对象存储。通过添加 Kubernetes 自动化,VMware 创建了一个单一平台,提供从容器化、编排、虚拟化、使用 vSAN 的存储、网络到安全的所有功能。
借助 vSphere 7.0,IT 管理员可以配置物理和虚拟基础设施,为组织快速配置私有云打开大门,并确信 vSphere 将负责安全、自动化、可靠性和扩展性。只有 VMware 才能通过其在服务 IT 管理员、应用程序管理员和开发人员方面的独特作用来实现这一点。
考虑到这一点,让我们深入了解如何在 vSphere 7.0 上配置高性能超大规模对象存储。
深入了解和部署 MinIO
vSphere 7.0 引入了 Kubernetes 与平台核心之间全新的深度集成。集成由称为 Supervisor 集群的功能提供支持。Supervisor 集群负责协调网络、ESXi 和存储——持久性服务将驻留在此处。Supervisor 集群是我们能够使用 Tanzu 运行来宾 Kubernetes 集群、虚拟机和原生 Pod 的地方。
MinIO 部署在 Supervisor 集群内部,可以直接访问 ESXi 虚拟机、网络和存储。
随着 vSAN Direct(一种使持久性服务可以直接访问底层磁盘的技术)的引入,持久性服务将获得访问底层存储的独特机会。这使得 IT 管理员能够通过依赖数据本地性的简化数据路径来配置高速、PB 级别的基础设施。
对于受益于直接访问驱动器和操作自动化的应用程序,vSphere 提供了关键的 vSAN Direct 功能。特别是对于 MinIO 而言,驻留在 Supervisor 集群中并位于 vSAN Direct 之上,为组织提供了以最小的摩擦创建极大规模的对象存储集群的独特机会。
由于 MinIO 的简单性、无状态性、数据保护和数据分发功能,它可以构建非常大的对象存储部署。
我们采用了一种称为“擦除码”的数学算法,该算法将每个对象分成一定数量的数据块和奇偶校验块,其中奇偶校验块保护数据块免受损坏和数据丢失,然后将每个数据块存储在多个节点上的不同磁盘上,从而有效地保护数据。
由于 MinIO 不依赖于集中式元数据存储(元数据位于对象旁边),因此集群中的任何节点都可以服务于任何请求并重建任何对象,从而实现高度的弹性。将其与强大的 NSX 网络层和 vSAN 的可靠性相结合,可以轻松地为私有云构建世界一流的对象存储解决方案,该解决方案可以匹配任何公共云产品。
所有这些都可以从 vSphere UI 中实现。
让我们开始使用 vSphere 7.0 上的 Supervisor Services 部署 MinIO。首先,您需要在 vSAN 层上具有一定的存储容量。如果要尝试 vSAN Direct,则应将每台机器上的每个磁盘配置为单独的存储池。还有一个名为 vSAN SNA(无共享架构)的新存储策略,其工作原理与 vSAN 相同,但将底层存储保留在集群中每个节点的本地。
要开始,请在 vSphere UI 中导航到要部署第一个对象存储的集群,然后进入配置。在其中,向下滚动到底部找到Supervisor Services。
现在选择MinIO并单击启用,您将可以选择配置一个私有注册表——这对于断开连接的部署很有用。在下一个屏幕上,您将看到我们的最终用户许可协议。完成 Supervisor Service 的激活,您将收到一条消息,指示 MinIO 已安装,您应该刷新浏览器。
现在,在您的集群配置部分,您将找到一个 MinIO 菜单。
通过在 vSphere 7.0 中引入命名空间,您现在可以更轻松地将一组资源的访问权限委派给另一位管理员。MinIO 采用此模型,并强制要求每个命名空间中只能存在一个 MinIO 租户。让我们创建一个新的命名空间,并将一些存储策略附加到其中。
首先,通过转到您的集群操作并选择新建命名空间来创建一个命名空间。
命名您的命名空间
在您的新命名空间屏幕上,将一些存储策略附加到您的命名空间。MinIO 租户只能使用与附加到命名空间的存储策略关联的磁盘。您会注意到,在安装 MinIO Supervisor Service 后,配置了两个新的存储策略;一个用于 vSAN Direct,另一个用于 vSAN SNA。虽然两种 vSAN 选项都适用于 MinIO 租户,但 MinIO 强烈建议使用 vSAN Direct 以获得最佳性能。
现在,我们准备创建我们的第一个租户。返回到您的集群,然后导航到配置 > MinIO > 租户。此屏幕显示集群中的所有租户以及它们所在的命名空间。点击添加按钮开始配置您的第一个租户。
添加屏幕将指导您完成设置新租户的过程。首先要选择的是您的新租户集群名称——我们将其命名为bigdata-logs。您会注意到我们有一个高级模式选项。当您想要自定义 MinIO 镜像、配置加密、TLS 设置和 IDP(支持 OpenID 和 LDAP)时,您需要使用此选项。
单击下一步来调整租户的大小。这就是 MinIO 的分布式特性发挥作用的地方。默认情况下,我们建议您尽可能广泛地分布对象存储集群,即使某些节点出现故障,也能保证您的数据始终可用。
完成设置
最后,让我们回顾一下将要发生的事情。
我们将跨 6 个节点创建一个 2Ti 的租户,每个节点使用 16Gi 的内存。MinIO 会根据所需的总存储量和节点数量自动计算每个卷的卷数和容量请求。
点击创建后,您将收到一组用于管理 MinIO 和访问控制台 UI 的自动生成的凭据——记下这些凭据或将它们保存到某个方便的地方。MinIO 仅显示一次这些凭据,因此请确保在点击完成之前安全地保存它们。
就这么简单。
几分钟后,将创建一个功能齐全的对象存储集群。如果您在第一个屏幕上创建租户时激活了高级选项,则系统将指导您完成配置多种功能,例如
- 身份提供程序
- TLS 管理
- 静态加密
- 使用自定义镜像,这对断开连接的环境很有用
您可以进入租户详细信息屏幕以查看租户的运行情况。在此屏幕中,您可以深入了解租户的使用情况。如果 MinIO 有更新,您也会在这里看到。最后,您将看到可用于开始使用新的对象存储集群的端点。从这个屏幕,您还可以监控集群的运行状况,包括扩展选项。
要扩展区域,请选择添加区域选项以扩展集群,如果您以后需要更多容量。
这包括与 vCenter 的监控和操作模型集成,您可以通过转到集群的监控 > vSAN > Skyline 健康状况来查看对象存储集群的状态。
结束语
MinIO 很高兴成为 VMware Kubernetes 架构中不可或缺的一部分。虽然愿景非常宏大,但 MinIO 能够为 vSAN 数据持久性平台生态系统带来独特的功能。其结果是高性能、持久性存储和一系列云原生应用程序,这些应用程序将成为 VMware 合作伙伴和客户的交钥匙解决方案。
虽然简单,但这是一种非常强大的组合,它几乎考虑了开发人员、IT 管理员或 DevOps 人员所需的一切。要更深入地了解集成,请随时访问我们专门的 VMware 页面、我们的 Slack 频道或咨询专家并与工程师之一互动。