重新思考 MinIO 和 CloudFabrix 的可观察性

虽然总体而言数据的增长轨迹非凡，但真正脱颖而出的是日志文件的增长。作为数字企业的核心，这些文件包含了大量的信息——涵盖了从安全到客户行为到运营绩效的惊人范围。

然而，日志文件的增长也给企业带来了特殊的挑战。它们本身并非“可读”的，需要机器智能进行处理。它们单个文件很小，但总体而言非常庞大——大型组织随着时间的推移，日志文件规模可达 10 PB 或 100 PB。它们在整个组织中分布不均——通常存储在特定领域的可观察性应用层中。

因此，企业一直在寻求简化这些挑战——同时保留完整副本，支持新兴边缘计算，并通过丰富日志文件和裁剪不需要或不必要的字段来优化这些日志文件。

这些工作需要两种不同但高度互补的技术——日志智能和现代对象存储。本文探讨了 MinIO 和 CloudFabrix 如何合作解决这一挑战。

CloudFabrix 是数据中心 AIOps 平台领域的先驱。他们发明了（并已申请专利）机器人数据自动化架构平台 (RDAF)。RDAF 为运营和分析系统提供集成、丰富和可操作的数据管道。RDAF 统一了运营系统的可观察性、AIOps 和自动化，并丰富了分析系统。这里的理念是创造可操作的智能，以便更快、更好地做出决策，并加速 IT 规划和自主运营。

日志智能中的当前挑战

常见的做法是收集和分析日志以使系统可观察，因为日志文件包含从全栈警报到事件的大部分数据。现有的日志智能解决方案往往会将数据湖变成数据沼泽。这些解决方案会摄取重复且冗余的数据。更多的数据会增加复杂性、计算和存储成本，从而导致 TCO 提高（主要是通过许可——例如 Splunk indexer）。结果是平均识别时间 (MTTI) 和平均解决时间 (MTTR) 受到影响。

一种不同的方法

构建下一代日志智能服务可以满足多种不同的目的。它实现了日志保留的网络安全要求。它可以通过优化安全信息和事件管理 (SIEM) 来防止安全漏洞。它还可以推动预测性业务分析、事件响应、云自动化和编排工作负载。

为了解决数据沼泽问题，需要三件事

1. 以自动化方式摄取流式数据的能力

2. 可以聚合、转换、丰富、搜索、关联、路由和可视化数据的可观察性管道

3. 基于高性能对象存储的数据湖

CloudFabrix 解决方案的核心是机器人数据自动化架构 (RDAF)。RDAF 使用低代码工作流和数据机器人（包括 AI/ML 机器人）简化了重复数据集成、准备和转换活动的自动化。其理念是利用 RDAF 简化和加速 AIOps 实施，降低成本，并通过预构建的任意到任意集成（数据、应用程序、连接器）实现流程民主化。机器人数据自动化平台允许使用推/拉/批处理机制进行数据摄取。

摄取后，RDAF 可观察性管道可以同时聚合、转换、丰富、搜索、关联、路由和可视化数据到不同的目标。

虽然支持多个目标，但目标之一始终是 MinIO。MinIO 存储所有流式数据的完整副本。存储在 MinIO 中的数据带有 UTC 时间戳，可以按需回放，以满足任何安全或合规性需求。此外，还可以使用通用搜索机器人搜索数据。

该解决方案是预集成的，事实上，CloudFabrix 使用 MinIO 开发了它。

用例和工作负载

联合解决方案支持以下用例：

• **日志摄取** - 自带日志工具 (BYOL) 并以拉取/推送/批处理模式摄取数据
• **日志压缩和回放** – 使用关联技术减少高达 40-80% 的日志量，并使用 UTC 时间戳、IP 地址和您选择的某些模式将日志回放到流中
• **日志路由** – 聚合日志、规范化、转换、丰富和路由到多个位置 - 数据湖、日志存储、分析平台、可组合仪表板等
• **日志丰富** – 使用来自 Infoblox 的 Geo-IP 或 DNS 查询、CVE（通用漏洞和披露）源、TIP（威胁情报平台）源丰富日志
• **日志预测分析** – 将日志转换为指标，并使用多种回归模型进行异常检测
• **边缘物联网、就地搜索** - 可组合搜索通过在可观察性数据湖中收集和存储作为完整副本的仅有价值的数据来补充日志智能。这允许根据需要就地搜索安全漏洞和合规性需求
  

收益

通过采用明智的日志智能方法，企业可以为其较大的 IT 支出项目之一带来实质性的节省。这些节省将出现在多个领域，具体如下：

• 仅通过使用关联技术减少日志量，即可将日志量减少高达 40%，而不会损失保真度。
• 通过在边缘和移动过程中使用可组合的就地搜索，将边缘到云的带宽和存储成本降低高达 80%。
• 将 SEIM 许可成本降低高达 40%，如下所示，一年 TCO 节省
  
  

• 优化的摄取
• 针对流式数据进行推/拉安全摄取，针对静止数据进行批处理摄取，优化了计算、网络和存储利用率
  

最终目标是加深客户洞察并增强业务成果，同时提高 MTTI 和 MMTR。这反过来解决了各种合规性问题（PII 遮蔽、GDPR 治理、CCPA 要求）并增强了数据进入云环境的方式。

入门

入门非常简单，因为机器人数据自动化平台基于微服务，可以作为托管服务部署在 AWS 中，数据路径位于本地或客户 VPC 中，或者完全位于本地。 SaaS 解决方案是自助式的，而 AWS 市场 实例是托管的。它将与 MinIO AWS 市场实例一起使用。

与往常一样，如果您想在本地试用 MinIO，可以 点击此处。

集成的一大优点是它非常轻松。可以使用不同的数据源（如 JSON、文件、Syslog（TCP/UDP）、Rsyslog、Fluentd、Filebeat、Webhook、开放遥测和云工具）以及各种目标（如 SIEM、运营智能和可视化决策板）进行概念验证。

请查看并告诉我们您的想法。我们始终热衷于在这个工作负载中获得反馈——它会产生大量需要大规模性能的数据，使其成为我们的理想工作负载。