使用 S3 Select 在对象存储上运行 PB 级 Spark 作业

当您查看 Spark + AI 峰会令人惊叹的演讲阵容时,您会发现没有太多关于如何利用对象存储的讨论。在某种程度上,您会期望看到——
阅读更多...当您查看 Spark + AI 峰会令人惊叹的演讲阵容时,您会发现没有太多关于如何利用对象存储的讨论。在某种程度上,您会期望看到——
阅读更多...在任何数字化转型过程中,一个关键的挑战是采用机器学习技术。鉴于工具和框架的爆炸式增长,它可能很困难
阅读更多...在早期开发对象存储 API 时,它们专注于对象的有效存储和检索。亚马逊凭借 S3 及其对强大的 S3 API 的实现取得了成功,迅速成为云中对象存储的事实标准。MinIO 认识到这一点,因此投入巨资创建了亚马逊之外最符合 S3 API 的实现。
阅读更多...我们的一些社区成员反复要求 Backblaze B2 云存储和 MinIO 集成 [1] [https://github.com/minio/minio/issues/4072]。B2 的价格极具竞争力,并且拥有大量的粉丝。我们还从 Backblaze 团队那里了解到,他们正在积极扩展其 B2 云存储服务。我们在 MinIO 中添加了对 Backblaze B2 后端的实验性支持,以
阅读更多...在这篇文章中,我将解释如何使用 NGINX 和 NGINX Plus 作为 MinIO 服务器的反向代理和负载均衡器。
阅读更多...如今,应用程序生成的 [https://blog.minio.io/object-storage-what-is-it-all-about-62920ca164ca#.qfa0ylbd1] 数据比以往任何时候都多,并且预计这种上升趋势将持续 [https://www.emc.com/leadership/digital-universe/2014iview/executive-summary.htm] 在可预见的未来。您如何处理应用程序不断增长的存储需求?一种可以在应用程序运行的位置运行并可以随着
阅读更多...s3verify 对对象存储服务器执行一系列 API 调用,并检查响应以确保与 AWS S3 签名版本 4 兼容。s3verify 采用 Apache V2.0 许可证。我们为什么构建 s3verify Amazon Web Service (AWS) 简单存储服务 (S3) 已成为首选的云存储,因此任何新的竞争服务都有很强的动机
阅读更多...MinIO 客户端“mc”是用于与 Amazon S3 兼容的云存储和 POSIX 兼容的文件系统的工具。它实现了基本的 Unix 命令,例如 ls、cp、cat 和 diff。mc 完全用 Golang 编写,并根据 Apache 许可证 2.0 版发布。项目托管在 Github 上——https://github.com/minio/mc NAME: mc - MinIO 云存储客户端
阅读更多...