使用标签和策略管理 AI 工作负载
对象标签赋予您更大的权力。您现在可以根据多达十个维度进行分类。如果您想将图表添加到项目中,您只需要适当地标记它。
阅读更多...对象标签赋予您更大的权力。您现在可以根据多达十个维度进行分类。如果您想将图表添加到项目中,您只需要适当地标记它。
阅读更多...为了确保 AI 的成功,首先要招聘一名数据工程师,而不是一名 AI/ML 专家。从我们的经验中学习,并了解为什么强大的数据基础 - 专注于对象存储、数据湖库和优化管道 - 对于可扩展、高效的 AI/ML 工作负载至关重要。
阅读更多...面对不断飙升的计算成本,MinIO 数据科学家 Archana Vaidyanathan 利用了数据湖库的力量,它允许灵活的计算选择,而无需彻底改造存储。MinIO 企业对象存储增强了此模型,提供速度、可扩展性和成本节约。
阅读更多...大量的小文件对应用程序性能提出了巨大的挑战。
阅读更多...将 Iceberg 表格格式与 MinIO 企业存储配对,可以创建一个强大、灵活且可扩展的数据湖库平台。Iceberg 表格规范声明了一种表格格式,旨在管理存储在分布式系统中的大量、缓慢变化的文件或对象的“集合”。
阅读更多...MinIO 在 AWS S3 最近宣布之前就引入了其条件写入功能。此强大工具在高并发环境中提供了更大的控制,确保数据一致性和可靠性,特别是在 AI 和 ML 工作负载中。
阅读更多...Databrick 的首席执行官 Ali Ghodsi 将存储和计算分离,以获得更多控制、更低的成本和可扩展性。构建在 MinIO 等高性能对象存储之上的现代数据湖,使您能够灵活高效地处理 AI/ML 工作负载,而无需依赖专有平台。
阅读更多...利用基于云原生、Kubernetes 导向、微服务的架构和对象存储。
阅读更多...我们的客户,一家总部位于日本的全球金融机构,最近完成了使用 MinIO 和 Dremio 的雄心勃勃的 Hadoop 替换项目。您可以看到他们在来自 Subsurface 的此次演讲中对此进行了介绍,但我们认为我们也应该将其写下来。就像大多数银行一样,该公司建立了庞大的 Hadoop 足迹来支持其分析和风险管理
阅读更多...湖仓一体功能的兴起正在重塑数据管理。ParadeDB 的 pg_lakehouse 扩展允许 PostgreSQL 与对象存储集成,从而实现可扩展、安全的数据分析。这使得数据基础设施现代化成为可能,无需进行大规模的改造。欢迎来到未来!
阅读更多...在人工智能热潮中,一个默默无闻的英雄支撑着这一切:现代对象存储。它可能并不光鲜,但它是当今数据湖的支柱,使大规模、高效的数据管理成为可能。了解 MinIO 的企业级对象存储如何提升您的数据基础设施。
阅读更多...目录正在彻底改变现代数据湖,Databricks 和 Snowflake 等行业巨头正在采用 Apache Iceberg 的目录 REST API。对开放标准的承诺提升了性能,促进了创新,并为人工智能和机器学习改造了数据管理。
阅读更多...这篇文章最初发表在 The New Stack 上。在过去几年里,“私有云”这个词带有负面含义。但正如我们所知,技术更像一个轮子而不是一个箭头,正如预期的那样,私有云正受到越来越多的关注,而且都是积极的。数据很清楚,Forrester 2023 年基础设施
阅读更多...现代数据湖中的语义层为原始数据提供了上下文和结构,这对于人工智能模型训练、数据管理和数据治理等关键数据计划至关重要。统一的策略和强大的基础设施对于有效实施语义层至关重要。
阅读更多...现代数据湖是数据仓库和数据湖的结合,使用对象存储来处理所有数据。使用对象存储构建数据仓库是通过 Apache Iceberg、Apache Hudi 和 Delta Lake 等开放表格格式 (OTF) 成为可能的,这些格式一旦实施,就可以使对象存储无缝地用作
阅读更多...在本博文中,我们将演示如何使用 MinIO 使用商品硬件构建基于检索增强生成 (RAG) 的聊天应用程序。
阅读更多...自我们上次关于如何使用 MinIO 扩展 Snowflake 实现的博文发表以来,Snowflake 对外部表的支持有了重大更新。外部表允许 Snowflake 用户将 MinIO 等对象存储中的数据视为 Snowflake 中的只读表,无需迁移。Snowflake 对其外部表功能的持续增强清楚地表明了
阅读更多...在本教程中,我们将部署一个连贯的系统,该系统允许跨存储在 Minio 中的大型数据集进行分布式 SQL 查询,Trino 利用来自 Hive Metastore 的元数据和来自 Redis 的表模式。
阅读更多...了解 RisingWave,这是一个开源流式数据库,正在彻底改变数据湖仓。它以速度和可扩展性而闻名,它使开发人员能够在流式数据上使用 SQL。为您的 AI 计划释放实时分析和可扩展数据处理的潜力。
阅读更多...Apache Arrow 是一种开源列式内存格式,对于现代数据湖至关重要。这是因为 Arrow 使数据处理能够在各种系统之间快速无缝地进行。Arrow 通过增强互操作性和计算效率来推动人工智能和分析的发展。
阅读更多...