1994 年,EMC 的 Symmetrix 以其 1TB(太字节)的企业存储系统最大容量,树立了行业标杆。2016 年,NetApp 推出了 FAS9000,在 24 节点集群配置中,其原始存储容量约为 172PB(拍字节)。在 22 年的时间里,容量增长了 172,000 倍,同时性能大幅提升,并添加了数十项优秀功能,这无疑令人印象深刻。但不幸的是,这还不够。这一巨大进步仅仅足以将企业 IT 数据中心推向终点线,进入 **拍字节时代** …… 而且是晚了十年。

与此同时,在 AWS、Azure、Google、IBM Cloud、Apple、Facebook 以及云计算的其他领域,所有这些公司都从一开始就面临着令人难以置信的数据爆炸挑战。如今,全球网络规模公司以艾字节(EB)来衡量数据——这是 **拍字节的成千上万倍**。在他们不断扩张的平行宇宙中,一直处于 **艾字节时代**。通过将无数存储设备分布在跨多个故障域和地理位置的多个数据中心,云计算的存储架构师似乎能够应对这种挑战。但即使是他们最好的策略,也可能被即将到来的前所未有指数级数据增长的海啸所淹没。
请考虑以下预测(摘自 2017 年 4 月发表的由希捷赞助的 IDC 研究报告,“数据时代 2025”),该报告显示了预计每年创建的数据量。

请记住,一个 ZB(泽字节)相当于 **一百万个拍字节**。IDC 预测,到 2025 年将创建 163 ZB——即 1.63 亿 PB,如果你长时间集中精力思考这个数字,可能会让你感到头晕。但实际上,他们的推断可能过低。到 2025 年进入 **尧字节时代**,将考验所有相关人员的承受能力。目前,在 2018 年,应对 **泽字节时代** 的日益增长的需求,已经超出了大多数参与者能够舒适处理的范围。
从 2020 年的约 40ZB 到 2025 年的 163ZB,在五年时间里,数据量增长了 4 倍多。在这五年里,我们可以有把握地预期数字摄影和视频分辨率持续提升,物联网应用和设备大量涌现,并生成越来越丰富的数据,以及全球人口中越来越大的比例能够获得技术。所有这一切都将在机器人、人工智能和其他非人类控制的来源全天候无休止地生成数据的时候发生。如果 2020 年的 40ZB 是一个合理的估计,那么 2025 年实际需要的总存储量很容易超过 163ZB 的估计。这是一个令人沮丧的前景,考虑到即使 163ZB 也将是一个令人望而生畏的数字。
虽然这些新的 ZB 中很大一部分将以视频的形式从智能手机和其他个人设备上传到云端(加上数以百万计的推文、Facebook 帖子、广告、信息和其他瞬态数据),但大部分——可以说大部分——新涌现到世界的数据将由商业活动产生。物联网通常是罪魁祸首,由企业拥有和运营。传感器和执行器越来越多地出现在与工业物联网、联网汽车、智能交通和智慧城市各个方面相关的设备、运营商、供应和环境中。
所有这些物联网设备生成的数据都具有重要的商业价值,不仅需要捕获,还需要能够进行分析,并且在许多情况下还将用于机器学习。仅仅将所有数据归档是不够的。需要以惊人的数据速率摄取大量数据,还需要在具有非凡性能要求的多种上下文中访问这些数据。
如此难以想象的大量数据无法经济地存储在公共云存储库中。想象一下,即使存储 1ZB——即一百万个拍字节,AWS S3 的月度存储成本也将是多么高昂!此外,随后下载任何部分数据进行分析或在云端之外使用,都将产生巨大的网络费用。企业客户只能实施自己的基础设施来控制支出。全球企业 IT 社区将共同踏上 **泽字节时代**,寻找自己的解决方案。
回顾 **拍字节时代**,花点时间想想,传统的企业 NAS 和 SAN 存储基础设施系统花了 22 年的时间才从 1TB 扩展到 172PB。按照同样的速度,可能还需要 22 年才能进入 **泽字节时代**——即 172,000 x 172PB = 29.5ZB。但是,世界不能再等 22 年。显然,我们需要至少用其他东西来补充这一演变过程。
云端存储的大部分数据以对象存储的形式存在,与之相关的 AWS S3 API 是一个极好的协议,可用于跨越广域网 (WAN) 和局域网 (LAN) 的分布式应用程序部署。其可扩展性在 **艾字节时代** 表现出色,并且在企业 IT 世界中也得到了有效部署。但是,如上所述,在 **泽字节时代**,摄取和处理数百万个拍字节将需要与以前企业数据中心中常见的分布式部署方法相结合,达到新的 **性能** 水平。此外,与各种数据格式和传统企业平台的集成对于企业客户来说也很重要,这对于网络寡头来说并不那么重要。
好消息是,MinIO 的对象服务器设计解决了所有这些问题:S3 API、完全分布式(包括擦除编码以及位腐蚀检测和自动修复)、无需牺牲出色性能即可实现数拍字节级的扩展,以及多种与传统企业平台轻松集成的选项。
正好赶上 **泽字节时代**!