Hadoop HDFS 的逻辑继承者

Hadoop的衰落可能被夸大了。它不会突然从企业领域消失——客户太多,沉没成本也太多,不可能一夜之间消失。
但不可否认的是,Hadoop与之前无数的技术一样,正在经历着长期且不可逆转的衰落。
原因有很多,但都归结于两个主要方面:价格和性能。
对于一项开源许可证模式非常纯粹的技术(恭喜Cloudera)来说,价格似乎显得奇怪——但价格不仅仅是软件的成本。价格还包括安装、配置和维护该软件的成本。对于Hadoop来说,这些成本过高——数据本地性导致计算和存储分配效率低下,复杂性意味着人力成本过高。云,无论是公有云还是私有云,都提供了简单性、弹性和与解耦相关的巨大优势。
性能曾经是Hadoop故事的支柱,它一直在不断改进,社区也增加了优化和新项目(Spark、Presto、Impala、Drill)。然而,Hadoop的**技术替代品**改进速度快得多,并且由于更密集的计算、更快的网络和高性能的软件定义存储,拥有更高的上限。推动Hadoop增长阶段的权衡或“基本原理”——以复杂性和更高的成本换取性能,现在已经不再有效了。
云,无论是公有云还是私有云,现在都提供了类似Hadoop的性能——成本和复杂性却只有一小部分。
这就是推动新技术发展和采用的动力——更好的性能或更低的成本。当两者兼得时,如果不能做出回应,结局就会很快到来。
很少有人谈论这个因素——回应。随着MapR的资产出售,Hadoop领域只剩下了一家商业实体——Cloudera。该公司估值16亿美元,拥有1.03亿美元现金,每个季度烧掉约5000万美元。即使Carl Icahn参与其中,这也不会增强生态系统的信心。
更重要的是,生态系统增长的驱动力(Presto、Spark、Impala……)被设计成独立于Hadoop运行——事实上,Databricks将自己视为100%云原生。因此,“围绕Hadoop的社区”没有太多动力去支持它。他们已经转向了其他方向。
这将加速Hadoop的衰落。没有人对阻止这种下滑感兴趣——即使是围绕Hadoop建立了庞大业务的系统集成商,也都在制定替代方案,因为他们知道,为全新安装推荐Hadoop意味着告诉客户自己落后于云原生时代(这使得IBM/Cloudera的合作关系令人费解)。
为了说明这一点,以我们的对象存储软件为例。与Cloudera一样,我们100%开源,商业模式是订阅支持。我们也面向私有云,并且非常擅长性能驱动的负载。
相似之处到此为止。
MinIO是使用云原生技术构建的解耦软件栈的一部分。它可以简单、优雅地扩展到EB级。极其轻量级,可以与应用程序栈(如NodeJS、Redis和MySQL)捆绑在一起。它支持S3 API,允许应用程序从第一天起就具备云就绪能力。MinIO的企业特性列表涵盖了从SSO到擦除编码和数据完整性保护的所有内容,并已部署到超过一半的财富500强企业中。
然而,真正让它脱颖而出的是性能。您可以在这里查看Presto、Spark、HDD和NVMe的数字。但大多数人想要看到的是直接的Hadoop对比。
*越小越好*
MinIO的对象存储比HDFS更快。这以前从未发生过。
这就是对象存储成为Hadoop HDFS的逻辑继任者的原因。具有卓越TCO的规模化性能。
有人可能会问,为什么不使用块存储或文件存储?当然,每个供应商都想占据这个价值100亿美元的市场。答案很简单,虽然其中有一些信仰因素,但大多数人都会同意基本事实。
基本上,现代的高性能对象存储具有灵活性和可扩展性、价格、API和性能。除了少数特殊情况外,对象存储将赢得所有本地工作负载。
同样,这不会在一夜之间发生——但它将在以季度而不是几十年来衡量的时间范围内发生。加入Twitter上的讨论,或发送邮件至hello@min.io,了解更多信息并获取我们的Hadoop迁移指南副本。