机器学习模型就像优雅的赛车，一旦配备了正确的数据，就能展现出惊人的能力。但把一辆崭新的法拉利放到崎岖的田间小路里，就是灾难的配方。这就是数据工程师的用武之地，为你的机器学习/人工智能铺平平坦的柏油公路，让它真正闪耀。

很容易想象这两个密切相关且经常重叠的工作角色可以由同一个人完成，特别是如果你是一些不了解数据的商业失败者。但现实情况是，这是两种不同的技能，都需要大量的時間和技能才能正确执行。这就像要求你的铺路工也驾驶你的赛车。他们可能可以做到，但两项工作都无法做好。

数据工程师做什么

数据工程的问题在于，除了你的团队之外，组织中的其他人很少知道，甚至理解你做什么，除非出现问题。不幸的是，数据管道，数据工程师的看家本领，就像垃圾工人。当他们工作的时候，你甚至都不会注意到，但当他们不工作的时候，就会臭气熏天。

那么数据工程师究竟是谁呢？他们是

数据窃窃私语者：原始数据混乱、不一致且可能存在偏差。数据工程师驯服这种原材料，将其清理和结构化，以满足机器学习模型的特定需求。数据工程师处理缺失值、异常值和数据不一致等问题，确保模型只接收最优质的数据，以便进行准确的预测和洞察。一个不幸且经常被忽视的事实是，输入垃圾就会输出垃圾。所以，以干净数据的平坦道路和快乐、得到良好供养的数据工程师的形式，为你的机器学习/人工智能工程师提供他们成功所需的工具。

数据基础设施架构师：不仅仅是道路的平坦程度很重要，还有它的形式和功能。数据工程师是大师级规划者，构建存储、组织和管理你的数据的基础设施。想想数据湖、对象存储、管道和仓库——这些是让你的数据保持可访问并随时为机器学习/人工智能消费做好准备的基本系统。机器学习/人工智能工程师通常不会触碰基础设施——他们使用其他工程师设计和构建的系统。你有没有注意到机器学习/人工智能工程师不会回答关于他们的项目为什么进展如此缓慢的问题？他们太忙于等待他们的查询完成运行，而且他们不知道如何加速它。

特征工程师：从原始数据中提取有意义的特征对于有效的机器学习/人工智能至关重要。数据工程师充当特征工程师，识别和提取相关特征，以捕获数据中的底层模式和关系。这些特征成为你的模型理解的语言，使它们能够提出正确的问题并生成准确的洞察。

数据管道优化器数据工程师是赛车工程师，监控和优化数据管道，确保平稳运行并最大限度地减少延迟。节省的每一毫秒都意味着更快的见解和更快的行动。良好的数据质量带来快速、正确的决策。数据质量差会导致事后分析，试图找出问题所在。当你雇用数据工程师时，你就是雇用数据质量和可靠性。

面向未来的证明者：关于数据的核心真相只有一个：数据永远不会变小，只会增长。数据工程师处于适应和扩展你的基础设施以满足这一不断增长的需求的最前沿。他们研究并实施新技术，监控数据增长和资源利用率，并确保你的数据基础设施保持强大和灵活。这些是你的组织中参加数据和分析会议，并与其他领域同事会面讨论数据基础设施趋势的专业人士。不要把你的未来交给那些将这些目标视为次要或不重要的专业人士手中——投资于数据工程师，投资于你的未来。

坚实的基础

在提出建议的同时，请考虑你的 AI 战略的基础不仅仅是人员，还有你的平台。将你的数据湖构建在高性能的开源对象存储上，以避免供应商锁定、查询缓慢和其他基础设施问题。问问你的数据工程师他们更喜欢哪个平台——只有一个平台会排在他们的首位，那就是 MinIO。

你会惊讶地发现，当你的数据基础设施被构建为繁荣发展，而不仅仅是生存下去时，你的机器学习/人工智能工程师的体验会变得多么平滑。有任何问题吗？请随时在hello@min.io或我们的Slack 频道上与我们联系。