使用 MinIO 企业对象存储防火墙进行负载均衡

Load Balancing with MinIO Enterprise Object Store Firewall

现代数据处理环境在每次运行时都会在计算节点和存储节点之间传输数TB的数据。负载均衡器的一个基本要求是,在不影响性能的情况下分配流量。在存储和计算节点之间引入一个负载均衡器层作为单独的设备,往往会导致性能下降。传统的负载均衡器设备的聚合带宽有限,并且会引入额外的网络跳跃。这种架构限制也适用于运行在通用服务器上的软件定义的负载均衡器。

在现代数据处理环境中,这会成为一个问题,因为通常情况下,会有数百到数千个节点同时访问存储服务器。

这就是负载均衡器发挥作用的地方。但是您知道可以使用 MinIO 企业对象存储防火墙 来满足这些高性能负载均衡需求吗?企业对象存储防火墙中的负载均衡器通过采用 Sidecar 方式来解决网络瓶颈。它作为一个小型的 Sidecar 进程,与每个客户端应用程序一起运行。这样,应用程序可以直接与服务器通信,而无需额外的物理跳跃。由于每个客户端都在一个无共享模型中运行自己的 Sidecar,因此您可以将负载均衡器扩展到任意数量的客户端。

在像 Kubernetes 这样的云原生环境中,企业防火墙作为 Sidecar 容器运行。它非常容易启用负载均衡配置,而无需对您的应用程序二进制文件或容器镜像进行任何修改。

让我们看看一个具体的应用程序示例:Splunk。

在本例中,我们将使用 MinIO 作为 Splunk 的高性能 兼容 AWS S3 的对象存储,作为 SmartStore 端点。请参考 利用 MinIO 为 Splunk SmartStore S3 存储 白皮书,以深入了解。


Splunk 在一组分布式节点上运行多个索引器,以分散工作负载。MinIO 企业对象存储防火墙负载均衡器位于索引器和 MinIO 集群之间,提供适当的负载均衡和故障转移功能。由于负载均衡器基于无共享架构,因此每个 Sidecar 都独立部署在 Splunk 索引器旁边。因此,Splunk 现在与本地 MinIO 企业防火墙负载均衡器进程进行通信,防火墙成为与 MinIO 的接口。这些索引器通过 HTTP RESTful AWS S3 API 与对象存储服务器通信。

MinIO 企业对象存储防火墙负载均衡器使用 就绪服务 API 不断监控 MinIO 服务器集群的可用性。对于传统应用程序,它将回退到端口可达性以进行就绪检查。此就绪 API 是 Kubernetes 环境中的 标准要求。如果任何 MinIO 服务器出现故障,Sidekick 将自动将 S3 请求重定向到其他服务器,直到故障服务器恢复在线。应用程序可以免费享受 断路器设计模式 的优势。

最后的想法

抓住机会,启动完整的 企业对象存储功能集。我们拥有出色的文档和传奇的 SUBNET,工程师随时准备帮助您前进。

如果您有任何问题,请随时通过 hello@min.io 联系我们!