使用 Apache Arrow 和 MinIO 构建高性能数据基础设施

如今,Apache Arrow 势头强劲。它是开发人员和数据从业者的最爱,它在业务关键型应用程序中的使用已显著增长,而像 Dremio、InfluxData、Snowflake、Streamlit 和 Tellius 这样的数据驱动型组织都对其投入了大量资金。采用它的驱动力是卓越的互操作性、更简单的数据架构、更快的速度和效率、更多工具选择
阅读更多...如今,Apache Arrow 势头强劲。它是开发人员和数据从业者的最爱,它在业务关键型应用程序中的使用已显著增长,而像 Dremio、InfluxData、Snowflake、Streamlit 和 Tellius 这样的数据驱动型组织都对其投入了大量资金。采用它的驱动力是卓越的互操作性、更简单的数据架构、更快的速度和效率、更多工具选择
阅读更多...了解 Reed-Solomon 擦除编码如何为大规模分布式对象存储提供数据保护。
阅读更多...这篇文章最初发表在 The New Stack 上。随着企业的不断发展,机器学习和人工智能已成为董事会级别的倡议。撇开营销宣传不谈,几年前看似神话般的功能现在已成为理所当然,因为 AI/ML 正在融入每个软件堆栈和架构。这被称为 AI 首选架构。在
阅读更多...安装和配置 Loki、Promtail、Grafana 和 MinIO,以便快速开始使用日志数据。
阅读更多...Kubeflow 是一个现代解决方案,用于使用最新和最流行的框架来设计、构建和编排机器学习管道。Kubeflow 开箱即用地附带 MinIO,用于存储其所有管道、工件和日志,但是该 MinIO 仅限于单个 PVC,因此无法从分布式 MinIO 为其带来的所有功能中受益
阅读更多...我们正处于云原生人才危机之中。这种情况不会很快结束。鉴于危机的深度,令人惊叹的是云运营模式发展得如此之快 - 从公有云到私有云,甚至延伸到边缘。我们的客户和合作伙伴都在争取更多云人才。
阅读更多...我们最近使用 WARP 基准测试工具对 Western Digital OpenFlex Data24 上的 MinIO S3 性能进行了基准测试。Western Digital 的 OpenFlex Data24 [https://www.westerndigital.com/products/data-center-platforms/openflex-data24-nvme-of-platform] NVMe-oF 存储平台将 NVMe 闪存的高性能扩展到共享存储。它通过高性能以太网网络提供 NVMe SSD 的低延迟共享,以提供与本地类似的性能
阅读更多...了解如何将外部 TLS 证书添加到 MinIO 租户,并使用 SNI 访问它们。
阅读更多...利用 MinIO 的性能、数据保护和 S3 API 功能进行日志管理和分析。
阅读更多...在 MinIO,我们的使命是让每个人都能运行这种弹性、高效、可扩展的对象存储,它席卷了云计算领域。目前,MinIO 已经在公有云、私有云和边缘部署了数百万次 - 而且我们正在使其更容易运行兼容 S3 API 和 Kubernetes 的对象存储。
阅读更多...现代基础设施的核心在于可用性。* 考虑一家在线抵押贷款公司。提供商需要在 30 秒内向潜在买家提供报价,否则其他提供商将赢得客户的业务。* 对于在线零售商来说,感恩节到新年之间的几周占其年收入的 25%。* 客户从...
阅读更多...主存储是您的应用程序与之通信的存储。在主要以对象存储为主的云计算运营模型中,任何告诉你不同的人都在试图向你推销产品。
阅读更多...我们上周刚刚完成了我们的存储领域日演示,有一点很明确 - 分析师社区中有很多人士继续投资于 SAN/NAS 的成功。一方面,我们理解。SAN/NAS 领域中的公司远比...
阅读更多...了解如何在 Azure 上以分布式模式部署 MinIO,以获得 S3 对象存储。
阅读更多...虽然用户理所当然地认为基础设施可用,但您知道指标、监控和告警对运营至关重要。
阅读更多...MinIO 正在弃用网关,并将在大约六个月内完全移除。这并不令人意外,我们从 2020 年就开始通知社区,并逐渐移除不受欢迎的网关。在过去 10 个月里,MinIO 只修复了错误。社区可以继续使用旧版本的 MinIO,直到那个日期。我们还鼓励...
阅读更多...正在使用 ZIP 文件数据湖吗?了解如何从存储在 MinIO 上的 ZIP 存档中下载单个文件。
阅读更多...我们上周提到 [https://blog.min-io.cn/minio-wins-cloud-computing-award-for-best-hybrid-cloud-solution/] 我们关注 TechTarget 年度存储产品 [https://www.techtarget.com/searchstorage/feature/The-best-enterprise-cloud-storage-of-2021] 奖项。这些奖项是存储行业最令人垂涎的奖项之一。TechTarget 是一台机器,这台机器的一部分是一大批才华横溢的记者和分析师,因此...
阅读更多...在 2022 年,每家企业都必须采取预防措施来保护自己免受勒索软件的严重威胁。在 2020 年和 2021 年,我们看到了勒索软件攻击数量和严重程度的增加,而 2022 年预计将延续这一可怕趋势。根据 BlackFog [https://www.blackfog.com/2021-ransomware-attack-report/] 的数据,2021 年共有 292 起勒索软件攻击事件。其中...
阅读更多...在奖项方面,MinIO 有点势不可挡。我们获得了 Datanami 阅读者选择 [https://blog.min-io.cn/datanami-readers-choice-award-best-storage-solution/] 奖、Stratus 奖 [https://blog.min-io.cn/minio-2021-stratus-award-winner/](软件定义对象存储技术和整体全球云领导力),以及今天的国际云计算奖 [https://www.cloud-awards.com/cloud-computing-awards/],用于...
阅读更多...