构建现代数据湖

现代数据湖一半是数据仓库,一半是数据湖,并且将对象存储用于所有内容。通过 Apache Iceberg、Apache Hudi 和 Delta Lake 等开放表格式 (OTF) 可以使用对象存储构建数据仓库,这些格式是规范,一旦实现,就可以使对象存储无缝地用作
阅读更多...现代数据湖一半是数据仓库,一半是数据湖,并且将对象存储用于所有内容。通过 Apache Iceberg、Apache Hudi 和 Delta Lake 等开放表格式 (OTF) 可以使用对象存储构建数据仓库,这些格式是规范,一旦实现,就可以使对象存储无缝地用作
阅读更多...这篇文章是 UCE Systems 的 Kevin Lambrecht 和 Raghav Karnam 合作撰写的。如今,云运营模型,特别是 Kubernetes,已成为大规模基础设施的标准。更重要的是,它们正在以极快的速度发展,对数据科学、数据分析和 AI/ML 产生重大影响。这种转变对 Hadoop 生态系统产生了重大影响。
阅读更多...您可能听说过不同的数据格式,如 Parquet、ORC、Avro、Arrow、Protobuf、Thrift 和 MessagePack。它们是什么,如何选择合适的格式?
阅读更多...在本博文中,我们将向您展示如何快速使用 MinIO、KES 和 Vault,以充分了解服务器端加密的功能。
阅读更多...让开源软件帮助您简化企业对话式 AI 的需求,并让 MinIO 处理存储解决方案,以实现持续学习并优化知识库,从而改善聊天机器人的体验。
阅读更多...本文重点介绍 Iceberg 和 MinIO 如何相互补充,以及各种分析框架(Spark、Flink、Trino、Dremio 和 Snowflake)如何利用这两者。
阅读更多...我们将介绍如何设置将 GitHub Enterprise 包和操作与 MinIO 集成作为后端所需的架构。总的来说,我们需要运行 MinIO 和 GitHub Enterprise 实例。
阅读更多...随着云计算的兴起,短暂的计算实例已变得无处不在。这带来了围绕软件管理、应用 DevOps 原则、解决安全漏洞和确保自动化的整套挑战。为了防止数据盗窃和服务中断,这些都是至关重要的。解决安全漏洞尤其具有挑战性,因为它通常需要更新和重新启动
阅读更多...