关于人工智能/机器学习技术浪潮的重要性，已经有很多讨论（查看我们的文章）。但鲜有人关注，却也应该引起重视的是，人工智能/机器学习正在重塑企业内部的技术权力结构。随着企业围绕数据中心化进行重组，他们也在重组谁来构建和执行技术架构。虽然变化微妙，但数据团队正逐渐取代 IT 部门成为数据基础设施的主要管理者，并且这种转变很可能是永久性的。
大数据系统的兴起
这种变化的根源可以追溯到大数据运动，特别是 Hadoop 生态系统的采用。虽然我们现在可能会轻视 Hadoop，但在当时它是一场革命，开启了大数据时代。与由 IT 部门管理的传统数据库不同，Hadoop 使数据专业人员能够处理海量数据集，释放了分析和洞察力的新潜力。这代表着专业知识从 IT 转移到了那些拥有数据处理和分析专业技能的人手中。哪些产品被采购以及从哪些供应商采购的控制权也转移到了这些新的团队手中。具有讽刺意味的是，即使在今天，这些数据规模往往达到 PB 级，但在传统 IT 领导层看来，它们常常被视为“账外”资产。
人工智能/机器学习的爆发
2022 年 11 月，OpenAI 的 ChatGPT 出现，世界发生了变化。人们似乎都意识到了其无限的可能性，ChatGPT 的易用性使得人工智能成为了董事会层面的当务之急。数据不再仅仅用于回顾性分析，而是用于前瞻性洞察、预测，甚至自动化洞察。在这种情况下，数据科学家和机器学习工程师的角色变得至关重要，为他们提供必要的基础设施和工具也成为了重中之重。
IT 角色的转变
随着数据团队日益成为组织战略决策的核心，IT 的角色也开始发生变化。传统上，IT 的主要关注点是维护基础设施、确保正常运行时间以及管理存储和访问。但随着云平台和“即服务”产品的兴起，许多这些任务被外包或自动化。IT 的角色开始更多地转向确保集成、安全和治理。这些任务无疑至关重要，但企业已经超越了 IT 的指挥和控制角色，转向更多地扮演协调者的角色。说到协调者，云操作系统模型为开发人员社区提供了容器化和编排功能。这改变了代码的编写、交付、维护和更新方式。它不再是一年一次的升级，而是每周甚至每天的升级。IT 并没有为这样的世界做好准备，因此他们专注于创建一个安全、可治理的环境，为开发团队提供支持。
数据团队设计和管理基础设施的理由
看看任何研究，人工智能/机器学习都是企业最优先考虑的技术。这并不意味着每个企业都知道这意味着什么，但当 CEO 要求做某事时，你往往会去听从。人工智能/机器学习团队（其中许多人曾参与 Hadoop 基础设施的构建）将在数据基础设施方面发挥主导作用。这不仅仅是选择使用的框架，甚至不是编写模型或选择基础模型进行适配，他们实际上将设计以人工智能为中心的数据湖基础设施。要在人工智能领域取得成功，您需要大幅整合对数据的访问。数据可以分布式存储，但需要易于访问。
数据团队不仅拥有数据分析方面的专业知识，还拥有针对分析和机器学习应用程序优化数据存储、检索和处理的专业知识。由于其关注范围更窄，数据团队通常能够更快地响应新的技术进步，确保组织始终处于技术前沿。数据团队也更善于理解数据的业务影响，并直接管理该基础设施，以确保更好地与企业的目标保持一致。
以人工智能为中心的数据湖的概况
以人工智能为中心的数据湖将强调现代数据湖的不同要素。
它将更大、需要大规模的性能并且将是多引擎的。此外，它将在数据层和计算层之间进行分离。第一个分离阶段（顺便说一下，在 HDFS 之后）是计算层和驱动器层——这更进一步。
人工智能数据湖将是横向扩展的。一旦开始进入 PB 和 EB 级别，纵向扩展就会很快失效——而这正是我们使用这些数据湖的目标。
人工智能数据湖将是软件定义的和云原生的（容器化、编排、API、自动化等）——这意味着它将基于对象存储。我们今天已经看到客户出现了这种行为。
人工智能数据湖将针对规模进行价格/性能优化（因此使用 NVMe）。始终使用全闪存存储的理由已经出现，并且鉴于 GPU 周期的价值——为容量利用率提供支持比以往任何时候都更重要。吞吐量和 IOPS 都很重要。
人工智能数据湖将使用商品硬件。设备不再适用。这是来自超大规模企业的简单经验教训——傻瓜式硬件和智能软件。批量生产。
人工智能数据湖将以这样一种方式推动网络层的速度，使得 100 GbE 成为基本要求。
协作范式
必须理解，这不是一场零和游戏。这种演变并没有使 IT 部门过时。相反，它呼吁采用一种更具协作性的方法，让 IT 和数据团队携手合作。虽然数据团队可能处于利用数据的前沿，但 IT 在确保基础设施安全、合规并与其他企业系统集成方面发挥着至关重要的作用。
结论
我们对接下来的篇章感到非常兴奋。人工智能/机器学习革命不仅仅关乎新技术，还关乎在快速变化的技术环境中重新思考组织结构和角色。随着数据日益成为企业成功的核心，那些最了解其影响的人员带头管理其基础设施也就顺理成章了。如果您想与我们互动并了解我们的客户和社区如何适应这个世界，请发送邮件至 hello@min.io。MinIO 没有传统的销售团队，因此您可以确信您正在与那些对人工智能和 MinIO 有深入了解的人交谈。
擦除码计算器 
参考硬件 