大型银行使用 MinIO 存储“了解你的客户”数据

引言

文档管理是各种受监管机构（金融、电信、医疗保健、政府等）的核心需求。这些机构需要管理和保留数量不断增长的文档，而监管指南通常要求将这些文档存储很长时间（7-10 年）。

例如，了解你的客户 (KYC) 文档。任何与金融机构建立关系的人都需要提供 KYC 文档。这些文档将与机构一起存储，只要关系存在，甚至在关系结束后还要存储几年。

传统的文档管理系统已无法提供此类用例所需的规模、成本效益和可靠性。这引发了向现代云原生解决方案的转变。

本文档将探讨传统文档管理解决方案的各种挑战，然后研究一些客户开发的下一代解决方案。

挑战

封闭式单体架构

传统的文档管理系统是单一的、封闭的系统。这意味着 IT 团队无法利用诸如关注点分离（即微服务）、API 访问、存储和计算解耦等新范例。添加功能或扩展此类系统仅仅意味着支付新的许可证费用。

此外，这些系统被构建为黑盒，几乎没有可扩展性。因此，IT 团队必须绕过这些工具才能实现其预期的工作流程。

有限的系统集成能力

传统的文档管理系统本质上是封闭的，几乎没有 API 集成来连接外部系统或插件其他工具。这会造成供应商锁定，系统管理的文档数量越多，摆脱该系统的难度就越大。

这与通过工具和技术的组合构建强大功能的现代原生 API 集成方法是正交的。

可扩展性

典型的文档管理系统使用数据库结合文件系统。众所周知，数据库和文件系统在处理大量数据时都存在困难。随着文档数量的增长，底层数据库和文件系统中的可扩展性挑战必然会显现出来。

解决方案

文档本质上是各种格式和大小的非结构化 Blob，非常适合像 MinIO 这样的对象存储平台。凭借无缝的可扩展性以及与主要现代数据平台的 API 集成，以启用搜索、审计日志和其他重要功能，MinIO 非常适合此类场景。

在此，我们提出了一种构建现代云原生文档存储的高可扩展性方法。

让我们仔细看看架构、其组件及其交互。

• 前端：像 React、Angular、Vue 或 Svelte 这样的现代基于 JS 的框架为构建此类企业应用程序的前端提供了良好的起点。由于所有这些框架都是 API 驱动的，因此非常容易将其与后端、特殊用途的应用程序（如身份和访问管理、数据库、对象存储等）集成。
  
• 文本/元数据搜索： 文档管理系统的关键需求是允许在整个文档目录中搜索特定文档。此搜索可以基于文档元数据（如所有者姓名、所有者 ID、文档类型等），甚至可以基于文档本身的内容。无论哪种方式，任何文档元数据都可以发送到像 MeiliSearch、Elastic 这样的文本搜索工具。
  
  从本质上讲，可以配置 MinIO 发送事件通知（带有对象元数据）到文本搜索平台。这样，搜索平台就可以拥有所有文档元数据以及 MinIO 中实际文档的链接。然后，前端可以将用户查询发送到文本搜索平台并获取相关文档。
  
  除了简单的文本搜索之外，还可以将来自 MinIO 的对象数据和元数据馈送到机器学习管道，如这篇博文中所述。这为分析和理解不仅是元数据，还有实际文档提供了机会，为团队利用业务洞察力打开了大门。
  
• Webhook： 客户文档是安全且私密的，对于合规或审计团队来说，确保维护详细的文档审计日志非常重要。
  
  MinIO 可以与各种目标系统集成以发送审计日志。MinIO Webhook 集成允许与任何支持 Webhook 的平台无缝集成，同时消除对消息队列类型系统的依赖。
  
  此外，MinIO 确保在远程 Webhook 目标脱机时错过的事件会在以后目标重新联机时传递。待传递的事件安全地存储在 MinIO 上，确保审计日志不会丢失任何条目。

• 对象存储：这是整个系统的支柱。它为文档（及其多个版本）、相关元数据、用户访问策略等信息提供可扩展的持久存储。与通用或传统解决方案相比，MinIO 对象存储有几个独特的优势。

  • 基于 ILM 的分层和归档：生命周期管理功能允许自动将数据从一个存储层移动到另一个存储层（例如，从热/温层到归档层），甚至在不再需要时使某些对象过期。这使 IT 团队能够确保仅将经常访问的文档保留在快速层中，而其他不常访问的文档则移动到归档层，归档层可能会使用具有成本效益的硬件，从而实现几乎无限的存储。

  • Active-Active 复制：高可用性和数据丢失保护对于文档管理系统至关重要。MinIO Active-Active 复制在此处非常有用。用户可以配置 MinIO 集群将对象复制到远程 MinIO 集群。这意味着 IT 团队可以利用 2 个数据中心的方案来确保数据免受完整数据中心故障的影响。

  • Cohasset 认证的对象锁定和对象保留：MinIO 对象保留和锁定功能已通过 Cohasset 认证。这意味着 IT 团队可以确保 MinIO 软件符合相应的监管要求。

  • 文档版本：MinIO 对象版本控制允许无缝存储文档的多个版本。这很好地映射到现实生活中的情况，在这些情况下，客户可能需要由于旧版本中的问题而提供新文档。

要点

文档管理不会不受云技术、微服务和 API 驱动开发进步的影响。话虽如此，合规性，特别是监管合规性确实会导致创新滞后。然而，我们今天看到的趋势是，大型金融机构正在转向一种模型，其中对象存储充当 KYC 架构中的基础要素。

现代对象存储具有可扩展性、弹性、高性能，并且在 MinIO 的情况下，已通过对象锁定和保留认证。

我们认为这种现代架构是金融、电信、医疗保健、政府等受监管机构的最佳方法。

这就是为什么美国所有十大银行都运行 MinIO，以及欧洲十大银行中的八家都运行 MinIO 的原因。

要了解更多信息，请通过 hello@min.io 与我们联系，我们可以提供比公开信息更详细的内容。