擦除码计算器 
参考硬件 突破 HDFS 速度障碍 - 对象存储的首次尝试
很少有人会对 Hadoop HDFS 正在衰落的说法提出异议。实际上，Hadoop 生态系统中的 HDFS 不仅在衰落，它正在自由落体。在它诞生之初，它作为一种高吞吐量、容错的分布式文件系统发挥了重要作用。秘诀是数据局部性。通过将
阅读更多...
云已经选出了赢家；现在他们正在强制执行它
规模的力量 [https://hbr.org/search?search_type=&term=scale&sort=popularity_score] 在商业世界中是有据可查的。云提供商 - 尤其是亚马逊 - 在很短的时间内积累了巨大的规模。云提供商现在正在利用这种规模来重新设计企业与数据交互的方式。他们正在
阅读更多...为 Apache Spark 基准测试 MinIO 与 AWS S3
Apache Spark 是一个用于分布式计算的框架。它提供了将数据分布到集群中的多台机器上以及对其执行计算的最佳机制之一。Spark 通过构建称为 RDD（弹性分布式数据集）的数据结构来实现这一点。RDD 允许将数据分解成不同的块，并独立地进行处理。各个块可以
阅读更多...在 MinIO 上运行 Apache Presto：基准测试与 AWS S3
Presto 在企业中的增长是其速度、SQL 兼容性、可扩展性和企业功能集的结果。虽然最初旨在加速 Hadoop，但该项目的成功已导致更广泛的采用 - 在 S3、Cassandra、MySQL 等上。Presto 允许对跨越数据存储和位置的数据进行查询 - 这对
阅读更多...S3 基准测试：NVMe 上的 MinIO
编写良好的软件是快速软件。MinIO 的概念设计从一开始就旨在简单、可扩展（因为简单的东西更易于扩展）并且速度快。简单和可扩展性有自己的主观和客观衡量标准 - 但速度通常是数字游戏。当你采用编写良好、快速的软件并将其与快速硬件配对时，
阅读更多...S3 基准测试：HDD 上的 MinIO
高性能对象存储是当今企业中热门话题之一。一方面，对象存储已成为企业存储策略（公有云或私有云）不可或缺的一部分 - 以 TB 或 PB 为单位衡量时，承担着企业的大部分负担。另一方面，对象存储传统上服务于
阅读更多...开源 = 防弹
软件通常不被描述为“防弹”。特别是那些负责大型分析任务或机器学习工作负载的软件。更常见的词是“挑剔”，“复杂”或在好的市场营销中“专业级”（这意味着您需要多年的学习和多个认证）。然而，“防弹”软件是与
阅读更多...使用 S3 Select 在对象存储上运行 Peta 级 Spark 作业
当我们看到 Spark + AI 峰会令人惊叹的演讲阵容时，我们没有看到很多关于如何利用对象存储的讨论。在某种程度上，你会期望——
阅读更多...使用 MinIO 构建本地 ML 生态系统，该系统由 Presto、R 和 S3 Select 功能提供支持
任何数字化之旅中的关键挑战之一是采用机器学习技术。鉴于工具和框架的爆炸式增长，这可能很困难
阅读更多...推出适用于 MinIO 数据湖的 Spark-Select
当早期对象存储 API 被开发时，它们专注于对象的高效存储和检索。亚马逊在 S3 上取得的成功以及其实现的强大的 S3 API 迅速成为云计算中对象存储的实际标准。MinIO 认识到这一点，投入巨资创建了亚马逊之外最符合 S3 API 的实现。
阅读更多...使用 Apache Flink 和 MinIO 进行流处理
如何使用 Apache Flink 为各种用例构建私有云数据管道。
阅读更多...使用 MinIO 的现代数据湖：第 2 部分
在这篇文章中，我们将更多地了解对象存储，特别是 Minio，然后看看如何将 Minio 与 Apache Spark 和 Presto 等工具连接起来以进行分析工作负载。
阅读更多...使用 MinIO 的现代数据湖：第 1 部分
在本系列文章的第一部分，我们将探讨对象存储与其他存储方法的区别，以及为什么利用 Minio 等对象存储来构建数据湖是有意义的。
阅读更多...Pivotal Container Service 上的 MinIO 私有云
在这篇文章中，我们将学习 Pivotal Container Service 部署以及如何使用 pks 命令行工具创建和管理 Kubernetes 集群。我们还了解了在 PKS Kubernetes 集群设置并运行后如何部署 Minio。
阅读更多...在 MinIO 云存储上使用 Apache Presto 进行交互式 SQL 查询
在这篇文章中，我们将学习为什么以及如何 Presto 正在成为从 MinIO 等平台查询大型数据集的首选工具。然后，我们将学习在私有基础架构上设置和部署 Presto 的步骤。
阅读更多...使用 Prometheus 监控 MinIO 服务器
Minio 现在内置支持在未经身份验证的端点上导出与 Prometheus 兼容的数据。这使得能够在没有共享服务器凭据的情况下对 Minio 服务器部署进行 Prometheus 监控，并且无需运行外部 Prometheus 导出器。
阅读更多...KubeCon 中的 MinIO 更新
Minio 服务器开发方面有很多进展。我们最近添加了对以下内容的支持：* 磁盘缓存 [https://docs.minio.io/docs/minio-disk-cache-guide] * 大型/Peta 级桶 [https://docs.minio.io/docs/minio-large-bucket-support-quickstart-guide] * 存储类别 [https://github.com/minio/minio/tree/master/docs/erasure/storage-class] 虽然 Minio 桶联合 [https://github.com/minio/minio/pull/5501]、改进的 Minio
阅读更多...MinIO，云存储的 ZFS
ZFS 以抽象掉物理存储设备边界而闻名，它将它们池化在一起。ZFS 完全消除了手动处理物理存储或担心其各自容量的需要。ZFS 还率先实现了其检测数据损坏并在有数据冗余时恢复的能力。但是，正如我们已经讨论过的那样 [https://blog.minio.io/
阅读更多...使用 Fluentd、MinIO 和 Apache Spark 进行物联网数据存储和分析
物联网战略成功的关键要求之一是能够存储和分析设备和传感器数据。随着物联网每天将数千台设备接入网络，所有这些设备产生的数据总量正在达到惊人的水平。> 以可扩展且经济高效的方式存储物联网数据，同时能够分析它
阅读更多...使用 COSBench 对 MinIO 进行基准测试
我们来看看在 NVMe 驱动器上运行的 Minio 服务器的 COSBench 性能数据
阅读更多...