使用 Amazon 的 S3 连接器 (用于 PyTorch) 和 MinIO 对 Map 风格的数据集进行映射

Map-Style Datasets using Amazon’s S3 Connector for PyTorch and MinIO

在深入研究 Amazon 的 S3 连接器 (用于 PyTorch) 之前,值得介绍一下它要解决的问题。许多 AI 模型需要在无法放入内存的数据上进行训练。此外,许多针对计算机视觉和生成式 AI 构建的真正有趣的模型使用的数据甚至无法放入附带的磁盘驱动器上

阅读更多...

前缀与文件夹

Prefix vs Folder

您是否曾经想过对象存储如何创建其文件夹结构,模仿 POSIX 风格的层次结构,但实际上是为了速度和效率而构建的?今天在这篇文章中,您将了解是什么真正构成了您在 MinIO 存储桶中看到的内部结构。

阅读更多...

MinIO 网关的弃用

MinIO 正在弃用网关,并且将在六个月内完全删除。这应该不会让人感到意外,我们从 2020 年开始通知社区,并且一直在稳步删除不受欢迎的网关。在过去十个月中,MinIO 仅进行了错误修复。社区可以在该日期之后继续使用旧版本的 MinIO。我们还鼓励

阅读更多...

单云与多云和混合云

Mono Clouds vs Multi-Clouds & Hybrid Clouds

亚马逊网络服务所做的事情确实非凡。在十五年的时间里,他们建立了一家年营收超过 450 亿美元的企业。支撑这种非凡增长的基础是存储——特别是 S3,它于 2006 年推出。S3 彻底改变了存储行业,而 S3 API 现在已成为云计算的标准,取代了

阅读更多...