我们的客户，一家总部位于日本的全球金融机构，最近完成了使用 MinIO 和 Dremio 的雄心勃勃的 Hadoop 替换项目。您可以在Subsurface 的此次演讲中看到他们的介绍，但我们也认为应该对此进行书面总结。
与大多数银行一样，该公司已经构建了庞大的 Hadoop 体系来为其分析和风险管理工作负载提供支持。但和所有其他银行一样，其遗留架构开始在不断增长的数据量和更密集的查询负载下出现问题。此外，频繁的系统中断影响了银行满足严格的服务水平协议 (SLA) 和监管要求的能力。
为了解决这些挑战，该银行启动了一项全面的现代化计划，其核心是采用 Dremio 的高性能 SQL 查询引擎，该引擎针对云数据湖进行了优化。为了补充 Dremio 的计算能力，该银行选择了 MinIO 的企业级对象存储。MinIO 专为分析和 AI 工作负载而设计，提供了可扩展且弹性的数据基础，以支撑银行不断增长的分析需求。
对于旨在实现下一代数据驱动洞察力的组织而言，他们的成功突显了 MinIO 的战略部署如何克服分析限制并释放新的潜力。让我们深入了解一些可以从这个成功案例中吸取的经验教训。
经验教训 1：认识到何时遗留系统正在阻碍您的发展
这家金融机构现代化之旅中的一个关键里程碑是认识到其基于 Hadoop 的架构日益增长的局限性。Hadoop 设计用于批处理，难以提供现代工作负载所需的实时性能和可扩展性。频繁的稳定性问题和中断困扰着运营。管理 Hadoop 的复杂性也阻碍了创新，并使得难以开展新的计划。
最重要的是，该银行意识到 Hadoop 无法以经济高效的方式扩展以满足未来的数据增长。像 Hadoop 这样的遗留系统并非为利用云或处理 JSON 和 Avro 等新数据类型而构建。将其未来与 Hadoop 绑定意味着限制业务敏捷性和分析能力。
最佳实践
组织应定期评估现有数据基础设施是否仍满足当前和预计的需求。工作负载性能、可扩展性上限、运营开销和创新准备情况是关键的评估标准。尽管最初足够，但遗留系统通常难以支持现代分析需求。尽早认识到这些局限性对于在数据架构阻碍竞争力之前对其进行转型至关重要。定期审查可确保系统发展并与组织需求保持一致。
经验教训 2：采用云原生方法以实现灵活性和可扩展性
为了对其数据架构进行现代化改造，该银行明智地采用了以 Kubernetes 为中心的云原生技术，用于编排和容器化。这种基于微服务的方法提供了更大的自动化，简化了基础设施管理。Kubernetes 的动态资源分配和自动扩展也能够无缝扩展以处理峰值工作负载。
至关重要的是，Kubernetes 支持跨本地和多云环境的可移植部署。通过集成 Dremio 和 MinIO 等云原生技术，该银行获得了在任何地方查询数据的统一接口。这个能够支持混合和多云的分析平台确保了未来的灵活性，并降低了供应商锁定风险。
最佳实践
云原生方法在简化底层基础设施复杂性的同时促进了可扩展性。跨环境的可移植性可以使分析投资永不过时。通过将功能封装到由 Kubernetes 编排的模块化微服务中，复杂性降低，同时运营效率提高。优先考虑云原生功能和标准合规性可在管道和工作负载之间释放数据敏捷性。
经验教训 3：为分析工作负载选择专用存储
通用存储系统无法释放像 Dremio 这样的现代分析引擎的全部性能潜力。通过选择 MinIO 的专用对象存储，该银行确保存储永远不会成为瓶颈。MinIO 的擦除编码策略、数据腐败保护和并行架构专为处理临时 SQL 查询的密集负载而设计。这些优化措施防止存储阻碍要求苛刻的分析工作负载。
通过将 MinIO 的快速对象存储与 Dremio 的加速查询引擎相结合，该银行建立了业界一流的分析堆栈。这些技术共同通过减少不必要的数据移动和 I/O 来最大程度地减少查询延迟。该银行没有选择通用存储，而是选择了一个专门为密集分析设计的系统。Dremio 和 MinIO 的这种战略配对在 PB 级规模上实现了无与伦比的性能。
最佳实践
在评估存储时，请仔细分析针对目标工作负载优化的架构属性。对于要求苛刻的分析用例，MinIO 的专用设计可提供极快的性能。
为了优化查询性能，该银行战略性地将 Dremio 和 MinIO 部署在同一台物理服务器上。这种拓扑结构最大程度地提高了查询引擎和存储层之间的数据本地化。由于这两种技术都位于每个节点上，因此 Dremio 可以利用 MinIO 的并行架构在本地 SSD 上实现高吞吐量。计算发生在存储数据的旁边，而不是跨网络移动数据。
MinIO 能够饱和可用磁盘带宽，从而能够快速并行执行查询和数据扫描。同时，Dremio 的列式优化和缓存功能最大程度地减少了最常见查询的磁盘 I/O。通过最大程度地提高 MinIO 和 Dremio 之间的数据本地化，该银行最大程度地减少了网络流量和延迟。这与平台的原生加速功能相结合，转化为极快的整体性能。
最佳实践
设计 MinIO 部署以使存储在物理上靠近计算引擎，从而最大程度地提高数据本地化。这允许快速并行查询执行和缓存，以释放全部性能潜力。
该银行的分析现代化之旅突出了旨在实现下一代数据驱动洞察力的组织的关键经验教训。通过采用 MinIO 的云原生对象存储，该银行克服了遗留基础设施的限制，从而提高了性能、确保了弹性和释放了新的创新。要了解更多关于这家银行和其他银行的信息，请发送邮件至sales@min.io，我们将向您展示为客户实现这一目标的企业级对象存储。
擦除码计算器 
参考硬件 