云的生命周期

通货膨胀(以及在可预见的未来相应的高利率)、需求下降和不确定的前景双重打击,迫使企业积极寻求降低成本。现在就需要采取行动。
虽然裁员是目前大多数科技行业都在采取的措施,但数据栈中蕴藏着真正的价值。每个公司在这个节点上都是一家数据公司——无论你是拆卸汽车还是建造卫星,数据都驱动着一切。此外,每家公司都与云息息相关(运营模式,而不是位置,在使用时会明确标识为公有云或私有云)。可能是工具(RESTful API、自动化、微服务)、应用程序或基础设施本身——但如今的一切都与云相关。
经济条件的变化改变了与公有云相关的集体一致性。这种趋势在几年前就开始显现,但在 Martin Casado 和 Sarah Wang 撰写了题为《云成本:万亿美元的悖论》的优秀研究文章后,变得更加明显。The Cost of Cloud, a Trillion Dollar Paradox.
当时这篇文章极具争议性,以至于 Casado 特意指出这并非在呼吁数据回迁(但实际上就是)。云计算具有其优点,这是不争的事实。Casado 和 Wang 对此做了很好的总结:
“如果你不从云开始,那你就疯了;如果你一直停留在云上,那你就更疯了。”
可以将此视为新的云计算运营生命周期。
虽然 Casado 的文章获得了比我们更多的浏览量(并且拥有更多更好的数据),但我们在一年之前就发表了我们的文章“企业何时应该迁移到公有云以及何时应该回迁”。
我们文章的核心观点如下:
公有云是企业技术栈的基础组成部分之一。对于近十几家公司来说,这是一个数十亿美元的业务,由亚马逊才华横溢且充满干劲的团队领导。亚马逊的帝国建立在客户至上和简单易用的基础之上。需要计算能力?没问题。需要存储?没问题。想要扩展存储?没问题。想要分析存储中的数据?没问题。
亚马逊消除了与云技术相关的摩擦,并将权力从 IT 部门转移到了开发者社区。
凭借弹性的概念,公有云在灵活性、开发人员敏捷性和资本支出方面进行了优化。此外,随着越来越多的配套服务(数据库、AI/ML)的出现,这些服务超出了除最先进的超大规模企业以外的任何人的能力,公有云极大地加速了从 IT 向开发人员的转变。在短短几年内,开发人员成为了企业价值创造的引擎。
这绝对行之有效,直到账单开始膨胀。
最终,公有云尽管有诸多优势,但并不能大规模地降低成本;它能带来生产力提升,但仅限于一定程度。轻松启动实例以及随之而来的遗忘风险会导致巨额账单。仅仅是与数据交互就会产生数据传出成本,这已被证明是极其掠夺性的。对于数据密集型应用(高容量/速度/多样性读写调用)尤其如此——它们在公有云中根本无法持续。
如果您的企业正在处理 PB 级别的数据,那么私有云将更具经济优势。是的,这意味着要构建基础设施(或从 Equinix 等公司租赁),包括房地产、硬件、电力/冷却等,但正如我们将要演示的那样,经济效益仍然非常可观。
公有云是学习云原生方式以及访问云原生应用程序组合的绝佳场所,但它并不是扩展的绝佳场所——除非您是房东(AWS、GCP、Azure、阿里云)。
优化规模:私有云
扩展的最佳场所是私有云,使用与公有云相同的技术:与 S3 API 兼容的对象存储、密集计算、高速网络、Kubernetes、容器和微服务。
这种方法提供了运营成本、灵活性和控制权的理想组合。诚然,您需要承担硬件的资本支出,但通过从小规模开始并利用关键的云计算经验教训(弹性和按组件扩展),企业可以最大程度地减少初始支出并最大化运营成本节约。
最终效果是通过数据回迁到私有云来创造更优越的总拥有成本 (TCO) 和投资回报率 (ROI)。这将成为 2023 年企业的主要策略。
我们的首席执行官 AB Periasamy 做了一个非常贴切的比喻:公有云就像一家不错的酒店。设施齐全、安全、宽敞等。它的价格也像一家不错的酒店一样。人们不住在不错的酒店里——他们会在那里停留一段时间以实现某个目标(商务旅行、度假),因为否则的话会太贵了。
私有云就像一套公寓(即固定成本的运营支出)或一套房子(即资本支出)。每月成本是可预测且稳定的。搬迁(类似于扩展)会有一些摩擦,但当您的工作负载已知时,您就不必经常搬迁。
我们最近与全球最大的数据中心运营商之一的团队进行了一项分析,并希望将其具体化。我们绝对鼓励您与我们联系,并告诉我们您是否认为分析中存在任何错误。我们使用的是领先的公有云提供商之一的公开数据——您可以预期所有公有云提供商的数据都类似,只是存在一些差异。这并非针对公有云提供商——他们是 MinIO 和我们的数据中心合作伙伴——只是为了说明云计算的新生命周期:**在公有云中启动,并在私有云中进行运营。**
下图和表格详细介绍了在 Equinix 数据中心托管数据基础设施的成本细分,与使用 AWS S3 服务进行了对比。
TCO 分析中使用的关键假设
上表列出了与公有云和 MinIO 在高端数据中心运行相关的所有主要成本类别。以下是用于此 TCO 分析的关键类别的概述以及两种选项如何影响这些成本的说明
- **软件:**指的是用于实现 S3 解决方案的对象存储软件。在公有云提供商的情况下,没有明确的软件成本,因为它是一项服务。MinIO 软件定价可在以下网址找到 - https://min-io.cn/pricing。对于 100PiB 数据中心模型,MinIO 软件成本占总成本的 87%。虽然这看起来很高,但它不包括下面列出的组件(传输/请求),并且具有从S3 兼容性到主动-主动、多站点复制(公有云选项可能永远不会具备)的各种企业功能。换句话说,客户在公有云中为实现这些功能而支付的各种可变成本都打包到软件成本中,作为年度固定成本。
- **硬件:**这是在数据中心或您选择的其他数据中心托管 MinIO 软件所需的硬件成本。在公有云的情况下,不会产生明确的硬件成本,因为它是一项服务。MinIO 的软件与硬件无关,并且需要最少的 CPU 和内存资源。MinIO 的硬件页面提供了有关如何为 MinIO 选择硬件的详细指导。MinIO 解决方案的优势在于,它为给定的硬件提供了卓越的性价比性能。这是 MinIO 的现代架构的功能,它基本上可以最大程度地利用任何硬件配置。为了使经济高效的硬件成本对我们的客户透明,我们还提供了几个计算器(硬件、擦除码、定价)。对于当前的分析,我们使用此定价计算器估算了提供 100PB 可用容量所需的硬件成本。我们还假设硬件成本包括维护、支持和保修成本。
- **对象存储服务:**根据提供商(并且广泛适用),“您需要为存储在存储桶中的对象付费。您需要支付的费用取决于对象的存储大小、当月存储对象的时间以及存储类别——从频繁访问到不频繁访问再到极不频繁访问。您需要为存储在智能分层存储类中的每个存储对象每月支付监控和自动化费用,以监控访问模式并在访问层之间移动对象。没有检索费用,并且在对象在访问层之间移动时不收取其他分层费用。”出于本分析的目的——所有数据都存储在对象存储中。
- **网络/互连:**这是与数据中心相关的基本网络基础设施成本。公有云不会明确收取此服务的费用。根据此定价和我们尽力做出的估算,在该数据中心运行 MinIO 的总成本中,网络成本占比为 2%(该数据中心以其连接性而闻名)。
- **数据中心:**这是在共享数据中心中使用商品硬件托管 MinIO 的成本。公有云不会明确收取此成本。
- 数据传输成本: 这包括公共云在“数据传输”选项卡下收取的所有与带宽相关的成本。我们尽力估计公共云传输成本为 13%,并假设从云到互联网传输 100TiB 数据;云内(骨干网)传输 100TiB 数据;50PiB 数据从美国东部的一个站点复制到美国西部的另一个站点。在托管数据中心运行 MinIO 不会产生单独的数据传输费用,超出与上述互连相关的固定成本。
- 数据请求成本: 在公共云中,各种类型的数据请求会产生各种成本。例如,您需要为对您的存储桶和对象发出的请求付费。请求成本基于请求类型,并按如下表所示的请求数量收费。这包括浏览您的存储的接口费用,包括对 GET、LIST 和其他促进浏览的请求的费用。费用按使用 API/SDK 发出的请求的相同费率累积。请求类型包括:PUT、COPY、POST、LIST、GET、SELECT、生命周期转换和数据检索。
对于我们当前的分析,我们假设对于每月给定的 100PiB 数据容量,500亿个对象被写入、读取、加密和使用数据生命周期服务进行转换(高级别)。根据我们的分析,这占公共云总成本的 42%,但变化很大,对于持续的数据密集型工作负载(例如 Spark)可能会高得多。另请注意,MinIO 不会明确收取这些功能的费用,并且公共云的数据请求费用本身就可能超过在托管数据中心运行 MinIO 的总成本。 - 附加企业支持成本: 根据不同云提供的指导,我们假设平均支持成本为总成本的 7%。MinIO 不收取任何额外的支持费用。它包含在商业许可证中。在支持方面,我们已将其转变为软件问题,并使用MinIO SUBNET解决了它。
- 隐含 $/TiB/月: 这是使用两个区域与在两个托管数据中心运行 MinIO 相比,每 TiB 每月 100PiB 的完全加载成本。
根据公共云服务的零售价格以及顶级托管数据中心(空间、冷却、电力)、硬件和 MinIO 软件成本相关的总成本,在私有云中运行数据基础设施的成本对于大规模容量(10PiB+ 聚合容量)来说可能要低得多。
这些数字在更大的容量下会变得更好。
不用说,如果您谈论的是超过 10PiB 的数据,您将获得 MinIO 和任何公共云厂商的充分关注。结果可能会产生影响——特别是对于 MinIO/托管数据中心解决方案更有利。节省的成本可能接近 90% 左右。
这不是一场降价竞争。成本只是您整体分析中需要考虑的一个因素,但如果您的成本每个季度都在增加,那么在无需更改任何代码(只需更新存储桶名称)的情况下重置 90% 的成本应该很有吸引力——尤其是在当前的经济环境下。
最近,MinIO 的一位客户验证了这一点,该客户将其超过 500PiB 的 AWS S3 数据迁移回其私有云。在这种特定情况下,五年内的成本节省超过 50 倍。
如上文对成本细分的分析所述,超过 60% 的公共云存储成本归因于数据传输和服务成本,这些成本变化很大,并且取决于访问这些数据的计算机工作负载的性质(例如数据库、云原生应用程序、Spark 管道、AI/ML 训练和推理等)。通过将数据基础设施迁移到托管数据中心,客户不仅可以完全避免数据传输和请求成本,还可以将其基础设施设置和运营成本转换为年度或多年基础上的固定且可预测的成本。
私有云的总计
根据预先协商的价格指标,运行您自己的 100 PiB 私有云的成本(配备最先进的硬件、全天候直接工程师支持、紧急按钮访问和年度绩效评估)最多为每月每 GB 0.023 美元。让我们回顾一下,并将其与我们上面计算的结果进行比较。
一年成本总结
在最高完全加载单位成本(包括硬件)为每月每 GB 0.023 美元的情况下,MinIO 和我们的托管数据中心合作伙伴提供了最佳经济效益——并且优势相当大。这种组合比公共云的标准定价便宜超过 60%(请注意,我们使用的是最新的非折扣价格)。
如果您想了解构建自己的私有云与任何公共云服务之间的盈亏平衡点,请联系我们,我们会带您了解一些因素,即使没有其他效果,也会让您有所收获。
总的来说,并不是要将价格作为决策的唯一标准。它只是众多组成部分之一,具体取决于业务和工作负载。事实上,对于托管数据中心模型,除了成本之外,在性能、安全、控制、可选性和灵活性方面也存在优势。这就是为什么许多创新型企业正在进行大规模数据迁移策略,因为他们意识到云计算将持续存在,并且他们可以选择什么云以及在哪里使用云——并且当他们了解其工作负载的参数时,他们会选择私有云。
不要相信我们的话,您可以自己测试一下。 下载 MinIO。有问题?在 我们的 Slack 频道 上咨询或给我们发送邮件至 hello@min.io。