MinIO 企业存储上的 Iceberg ACID 事务

将 Iceberg 表格式与 MinIO 企业存储配对,可以创建一个功能强大、灵活且可扩展的湖仓平台。Iceberg 表规范声明了一种表格式,旨在管理存储在分布式系统中的大量、缓慢变化的“文件或对象集合”。
阅读更多...将 Iceberg 表格式与 MinIO 企业存储配对,可以创建一个功能强大、灵活且可扩展的湖仓平台。Iceberg 表规范声明了一种表格式,旨在管理存储在分布式系统中的大量、缓慢变化的“文件或对象集合”。
阅读更多...了解如何从 HDFS 无缝迁移到现代对象存储,而无需拆除所有现有系统。学习宝贵的策略,保留基本工具并为 AI/ML 现代化您的基础设施。
阅读更多...引言 1997 年,Clayton Christensen 在他的著作《创新者的困境》中确定了一种创新模式,该模式跟踪了现有企业和新进入者之间的功能、成本和市场细分采用率。他将这种模式称为“颠覆性创新”。并非所有成功的产品都是颠覆性的——即使它们导致老牌企业失去市场份额,甚至失败。
阅读更多...Kafka 和 Spark 结构化流一起用于构建由流数据馈送的数据湖/湖仓,并提供实时商业洞察力。
阅读更多...在本博文中,我们将构建一个笔记本,该笔记本使用 MinIO 作为对象存储,用于 Spark 作业来管理 Iceberg 表。
阅读更多...Apache Spark 和 MinIO 是数据湖和分析的强大工具。了解如何在 Kubernetes 中运行它们。
阅读更多...了解如何使用 Delta 开放存储格式和 MinIO 对象存储构建多云数据湖。
阅读更多...将数据从 HDFS 迁移到 MinIO 并享受云原生架构带来的优势。
阅读更多...随着另一个 Strata 的结束,现在是时候回顾一下我们在这一周中所见所闻了。Strata 显然是一个数据科学展会,但数据科学是一个广泛的主题。作为高性能对象存储的提供商,我们的视角也由此形成,我们更关注数据堆栈,而不是我们
阅读更多...Apache Spark 是一个用于分布式计算的框架。它提供了一种最佳机制,可以将数据分布到集群中的多台机器上并在其上执行计算。Spark 通过构建名为 RDD(弹性分布式数据集)的数据结构来实现这一点。RDD 允许将数据分解成不同的块,并相互独立地进行处理。各个块可以
阅读更多...高性能对象存储是当今企业中最热门的话题之一。一方面,对象存储已成为企业存储策略(公有云或私有云)不可或缺的一部分,在以 TB 或 PB 为单位衡量时,承担着企业的大部分负担。另一方面,对象存储传统上服务于
阅读更多...当早期对象存储 API 开发时,它们专注于对象的有效存储和检索。亚马逊在 S3 上取得的成功及其对强大的 S3 API 的实现迅速成为云中对象存储的事实标准。MinIO 认识到这一点,投入巨资创建了亚马逊之外最符合 S3 API 的实现。
阅读更多...在本篇文章中,我们将进一步了解对象存储,特别是 Minio,然后了解如何将 Minio 与 Apache Spark 和 Presto 等工具连接起来以进行分析工作负载。
阅读更多...在本系列文章的第一部分中,我们将看看对象存储与其他存储方法有何不同,以及为什么利用 Minio 等对象存储来构建数据湖是有意义的。
阅读更多...物联网战略成功的关键要求之一是能够存储和分析设备和传感器数据。随着物联网每天将数千台设备联机,所有这些设备共同产生的数据正在达到惊人的水平。> 以可扩展且经济高效的方式存储物联网数据,同时能够分析它
阅读更多...这是一篇来自我们 Guardant Health [http://www.guardanthealth.com/] 朋友的客座博客。Guardant Health 是全面液体活检的全球领导者。肿瘤学家订购我们的血液检测以帮助确定其晚期癌症患者是否有资格接受针对肿瘤 DNA 中特定基因组改变的特定药物。每次检测都会产生大量的基因组数据,这些数据
阅读更多...