Supermicro GrandTwin™ 超级服务器和 MinIO 用于密集机架优化存储

我们最近有机会在新的 Supermicro GrandTwin™ SuperServer SYS-211GT-HNTR 2U 服务器机箱 上对 MinIO 进行性能测试，该机箱部署在四服务器配置中，这意味着每个机箱容纳四个服务器节点。 每个服务器或节点可以容纳一个单一的第四代英特尔至强处理器，高达 4TB 的 RAM 和高达 6 个热插拔 NVMe/SATA 驱动器。 我们使用英特尔至强 CPU、512GB DDR5 RAM、2 个 100GbE NIC 和 6 个 Kioxia CD6-R 7.68TB NVMe 驱动器进行了测试。 这些是我们评估的第一批依赖于 英特尔 Sapphire Rapids 芯片组的服务器。 我们对这种密集机架优化服务器平台的整体性能印象深刻，并将继续发布该集群上 MinIO 性能的结果和分析。

今天，我们将深入探讨该集群上的小文件性能。 小文件性能很重要，因为数据库供应商越来越多地从 SAN 块存储转向对象存储。 对象存储用例正在扩展到传统的以大型文件为中心的用例（例如归档和备份）之外。 对象存储能够处理存储为较小表段或范围的 PB 级数据库表，并且需要 ACID 属性。 因此，当今的对象存储必须通用，以支持使用小于 1MB 的文件的负载。 小对象会给存储系统带来性能挑战，尤其是在并发和元数据管理方面。 有关小文件的更多信息，请参阅 小对象及其对存储系统的影响。

大量的（数十 PB 级）小文件从何而来，它们用于什么？ 新的 AI 驱动的应用程序使用大量的小数据文件进行推理、重新训练和模型开发的其他方面。 分析是另一个建立在小文件数据湖之上的用例。 物联网应用从各种设备和传感器中获取读数，这些读数通常作为非常小的流式消息传入。 最后一个例子是日志文件分析，它已从大型文件的批处理和分析转向实时分析单个事件。

MinIO 最大限度地利用服务器硬件。 结果是，正如我们的测试一次又一次地验证的那样，MinIO 部署通常受网络限制。 在此测试中，即使我们拥有独立的 100GbE 网络用于外部访问 MinIO 和节点间通信，我们仍然受到 100GbE 网络的限制。 因此，我们建议您至少使用 100GbE 作为配置，如果不是 200GbE 甚至 400GbE，才能真正实现区分 MinIO 的性能和规模的组合。 我们目前正在规划对 400GbE 网络上 MinIO 部署的测试，并期待在未来的博客文章中与大家分享结果。  

对象存储基准测试传统上以吞吐量表示。 吞吐量过去，现在也被认为是对象存储性能的最佳衡量标准，因为它衡量了系统读取和写入大量非结构化数据的能力。 但是，随着对象存储技术的不断发展，用例和报告的指标也随之发展。 MinIO 以与处理传统高吞吐量用例（如备份和归档）相同的轻松方式处理现代对象存储负载（许多小文件，高并发）。

在小文件的世界里，每秒对象是比吞吐量更适用的性能衡量标准。 原因是它衡量了系统同时读取和写入许多文件的能力，从而更好地近似于大数据分析用例的性能。

小文件基准测试

当我们运行小文件基准测试时，密集机架优化 Supermicro GrandTwin™ SuperServer 真正脱颖而出，区别于其他商品硬件。 我们的测试集群提供了顶级的性能，这就是为什么我们的客户喜欢在数据中心、托管设施和边缘运行 MinIO 在 Supermicro 硬件上以支持资源密集型负载（如分析、AI/ML 等）的原因。

在讨论结果之前，需要说明一些注意事项。 小对象不会像大对象那样饱和网络。 小对象用例的性能取决于执行大量并发操作的能力，而不是在单位时间内推送的数据总量。 许多对象存储解决方案无法实现这种程度的小对象性能，因为它们依赖于元数据数据库，而这正是 MinIO 将对象与元数据内联存储的能力使其脱颖而出的地方。 请参阅 大数据中的挑战是小文件，详细了解 MinIO 如何构建以处理小对象和大对象。

由于我们通常会提供吞吐量结果，因此我们运行了 性能测试，这是一个自动测试套件，可供获得许可的 MinIO 客户免费使用，结果非常棒——集群的 GET 为 105.39 GiB/s，PUT 为 80.84 GiB/s。 性能测试提供的结果是最佳情况。 这些结果不同于下表中显示的结果。 对于下面的结果，我们使用了更全面的测试工具 WARP，它允许对对象大小等参数进行微调。

我们运行了 WARP S3 基准测试，以衡量 MinIO 在 Supermicro Cloud DC 集群上的 READ/GET 和 WRITE/PUT 性能。 WARP 是一个开源对象存储性能基准测试工具，由 MinIO 开发和维护。 我们使用 4、16、64、128 和 1024KiB 的对象大小运行 WARP，以衡量 READ/GET 和 WRITE/PUT 性能，以吞吐量和对象/秒为单位进行测量。

下面总结了我们使用 WARP 进行的小文件性能测试结果：      

密集且强大

性能是几乎所有对象存储实现的关键要求。 我们在多年时间里多次证明了 MinIO 是地球上最快的对象存储。 MinIO 充分利用了可用的底层硬件，并且在使用大对象最大限度地提高吞吐量以及使用小对象最大限度地提高对象/秒数方面表现出色。  

MinIO 在性能方面占据主导地位，是流式分析、AI/ML 和数据湖分析中最苛刻用例的最佳选择。 在小文件性能方面，没有其他人能与之匹敌。 但我们并不止步于此，除了更好的性能外，MinIO 还为小文件提供了更好的开发人员体验，使他们能够 在 ZIP 文件中处理单个文件。 这也提高了性能，因为为单个大型 ZIP 提供服务比为多个小文件提供服务更快，尤其是在单独传输它们的情况下。

Supermicro GrandTwin™ SuperServer 是一款坚固耐用、设计精良的 NVMe 级硬件，我们建议将其用于 MinIO 负载。 这是一个密集的、机架优化的平台，在机架密集型环境（如内部数据中心、托管设施和边缘）中表现出色。 这种硬件非常适合构建自己的小型私有云或 多租户对象存储即服务。  

如果您想详细讨论此小文件基准测试的结果，或询问有关对环境进行基准测试的问题，请加入我们的 Slack 或通过电子邮件联系我们 hello@min.io。