大数据中的挑战在于小文件
大量的小文件给应用程序性能带来了巨大挑战。
阅读更多...大量的小文件给应用程序性能带来了巨大挑战。
阅读更多...当您考虑对象存储工作负载和存储类型时,数据库日益成为核心工作负载。这些变化是由两股力量推动的:高性能对象存储的可用性和数据(特别是其关联的元数据)的爆炸式增长。由于这两股力量,几乎所有主要的数据库供应商现在都包含了与 S3 兼容的端点。此外,对于许多
阅读更多...监管环境正在迅速发展,即将在欧洲实施的数字运营弹性法案 (DORA) 就是这种动态变化的证明。我们有多家欧洲银行客户,他们每个人都从略有不同的角度处理这个问题,但有一个例外——几乎所有客户都使用现代对象存储作为基础层。对于 IT
阅读更多...现代企业由其数据定义。这需要一个用于 AI/ML 的数据基础设施,以及一个作为现代数据湖基础的数据基础设施,该数据湖能够支持商业智能、数据分析和数据科学。无论他们是否落后、刚刚起步或使用 AI 获取高级见解,情况都是如此。在可预见的未来,这
阅读更多...这篇文章最初发表在 The New Stack 上。在过去的几年里,“私有云”一词带有负面含义。但众所周知,技术更像一个轮子而不是一支箭,果不其然,私有云再次受到广泛关注,而且都是积极的。数据很清楚,Forrester 的 2023 年基础设施
阅读更多...现代数据湖兼具数据仓库和数据湖的特点,并使用对象存储来存储所有内容。使用对象存储构建数据仓库成为可能,得益于开放式表格式 (OTF),例如 Apache Iceberg、Apache Hudi 和 Delta Lake,这些规范一旦实现,就能使对象存储无缝地用作
阅读更多...在本篇博文中,我们将演示如何使用 MinIO 利用普通硬件构建基于检索增强生成(RAG)的聊天应用程序。
阅读更多...本文最初发表于2024年6月3日的The New Stack。我之前写过关于现代数据湖参考架构的文章,探讨了每个企业面临的挑战——更多数据、老化的Hadoop工具(特别是HDFS)以及对RESTful API(S3)和性能的更高要求——但我希望填补一些空白。现代数据湖,有时也被称为
阅读更多...本文的简短版本发表于2024年3月19日的The New Stack。在企业人工智能领域,主要有两种类型的模型:判别模型和生成模型。判别模型用于对数据进行分类或预测,而生成模型用于创建新数据。尽管生成式AI最近占据了新闻头条,但组织机构仍然
阅读更多...我怀疑有些人会指责我使用点击诱导标题。另一些人会说,这并没有夸张——大多数人在最初的AI尝试中都会失败,但这并不重要,从中获得的经验教训是值得的。在某种程度上,两者都是正确的——但我认为企业失败的原因值得探讨,并且可能允许
阅读更多...释放Nessie带来的数据协作和质量!学习轻松管理分支、提交和合并。本指南将引导您部署Dremio、MinIO和Nessie,通过协作精度来改变您的数据工程。深入了解,彻底改变您的工作流程!
阅读更多...在本篇博文中,让我们看看如何设置多个LXMIN服务器,并备份到多节点多驱动器的MinIO集群。
阅读更多...揭开现代数据湖迁移到私有云的秘密。拥抱S3兼容性、数据控制和不断变化的格局,以实现经济高效的数据管理。不要错过迈向增强灵活性和效率以及数据生态系统未来化的旅程。
阅读更多...这是您实现数据卓越的交响曲。探索现代数据栈的组成部分,包括存储、数据集成、转换、数据可观测性、数据发现、数据可视化、数据分析和机器学习。
阅读更多...释放云迁移之旅的真正潜力!了解如何将云视为一种运营模式而不是一个位置,这将如何彻底改变您的技术方法。了解为什么可移植性、合适的工具和开放标准是您成功的关键。
阅读更多...使用Redpanda和MinIO构建流式更改数据捕获(CDC)管道到Snowflake。此解决方案简化了数据迁移和分析,Redpanda提供可扩展性,MinIO作为高效存储,Snowflake作为云原生分析引擎。
阅读更多...电子邮件是最终的性能扩展用例,因为它通常只会增加数据量。此外,存储的数据越多,数据的价值就越高。MinIO的多站点主动-主动复制专注于保持集群的最佳性能。
阅读更多...最近,一位记者请我们帮助技术领导者阐明混合云的挑战和复杂性。虽然我们怀疑许多技术专家已经对此进行了充分的思考,但我们也从与客户和社区成员的直接交流中了解到,这仍然是一个重要的研究领域。我们希望总结一下这种思考
阅读更多...大多数开发人员、工程师、架构师和DevOps人员都了解MinIO。并非所有人都知道我们唯一做的事情就是软件定义的对象存储。我们不做文件或块存储。我们不提供服务,它是自托管的。我们的重点是单一的。结果是,我们的对象存储在客观上,基于采用率、奖项和客户反馈,是最好的
阅读更多...在本篇博文中,我们将讨论擦除编码和擦除集,然后深入探讨如何在设计部署时使用擦除码计算器,通过从一开始就选择正确的硬件配置设置来充分利用MinIO。
阅读更多...