边缘计算的物联网 (IoT)、工业物联网 (IIoT) 和存储

IOT, IIOT and Storage at the Edge

物联网应用在一段时间内呈爆炸式增长,从网络的最前沿到工厂车间,如今它们已达到临界规模。它们已经产生了大量数据,并且数据量还在不断增加。其中一些数据是在本地处理的,但大部分数据需要发送到其他地方进行进一步分析。

在许多情况下,数据还需要出于合规或安全目的进行归档。

部署本地 S3 对象存储可以帮助可靠地存储、自动上传和管理这些数据——无论是在边缘、传输过程中还是在最终分析中的存储状态。

下面我们将讨论一些可以从部署本地 S3 对象存储中获益的物联网应用。

石油和天然气勘探

我们了解到一家公司,他们的勘探船将地震数据记录到插入 PC/服务器中的磁盘上,然后人工提取这些数据,并在返回港口后,插入港口服务器以上传数据。

这种方法存在一些问题。只需要一个错误,例如提取错误的磁盘、掉落数据磁盘、错误地插入磁盘等,任何这些错误都可能导致勘探数据丢失。此外,磁盘驱动器可能会发生故障,而且这种情况经常发生(并且在人工操作时发生故障的频率更高)。使用 S3 对象存储来记录和管理船上的数据可以避免许多此类问题。例如,

  • S3 存储桶(地震记录)可以在保存后自动复制到其他存储桶以实现冗余。
  • MinIO 采用成熟的擦除编码方法,确保数据保护,即使在驱动器发生故障的情况下。
  • S3 存储桶可以自动复制到异地或在 API 控制下复制,这可以在返回港口后轻松触发。

此外,在必要时,地震对象数据可以在船上使用适当的硬件和软件进行处理,这可能导致更具针对性的后续勘探或实时动态调整勘探。将数据存储在相同标准的对象格式中,无论是在船上还是在异地,都可以使这两个地方的处理速度更快、更容易。鉴于 MinIO 是 AI/ML 工作负载的首选对象存储,这似乎是一个简单的选择。

虽然略有不同,但世界上一些最大的邮轮运营商正在这样做——在船上使用 MinIO,并将 AWS S3 作为最终目的地。

视频监控

虽然在边缘存储用例出现之初,视频监控就被称为边缘存储用例的典型代表,这似乎有些陈词滥调,但事实是,每天都有越来越多的视频监控应用出现。以机场为例——你走不到 10 米就会经过一个摄像头。但这不仅仅是机场,而是无处不在。摄像头的价格越来越便宜,所以摄像头越来越多。分辨率越来越高,所以对象也越来越大。传统方法使用 DAS、蓝光光盘或其他介质来记录视频数据,但这种模式正在发生变化。对于 Blink 和 Nest 等公司来说,它们在家庭网络上拥有出色的带宽,因此可以将数据直接传输到云端。此外,随着存储成本的下降以及功能强大的 NVMe 驱动器的出现,覆盖数据的需求大大减少。

还有 AI/ML 方面。这些视频数据可能非常有用,但你需要大量的数据。无论是用于客户流量模式分析,还是情报机构的生活模式分析,数据越多,最终结果就越好。同样,在对象存储方面,MinIO 也是这里的标准。

如前所述,S3 对象擦除编码容错及其自动对象复制/拷贝优势可以轻松应用于视频监控数据。此外,某些 S3 对象复制的另一个特性是,可以限制带宽消耗,从而为其他(客户)活动保留更多带宽。

此外,借助 MinIO 的数据保护机制,视频不会轻易被意外或有意覆盖。

智能车辆(汽车、拖拉机、卡车、无人机、公交车和船舶)

随着越来越多的车辆添加自动驾驶功能,传感器套件正在升级到更高分辨率的传感器,并且数量也在增加。因此,这些设备每天开始产生的数据量惊人。

鉴于数据量巨大,制造商面临着决定保留哪些数据以及丢弃哪些数据的难题。这在某种程度上是由过时的方案造成的错误选择。虽然永远在存储容量有限的情况下保留所有数据是不现实的,但选择越来越多。首先,制造商可以在现场处理数据,只发送异常值或关键元数据。其次,制造商可以跟上现代 NVMe 驱动器的规模——每个驱动器能够存储 20 多 TB。第三,制造商可以采用混合方法,传输感兴趣的元数据,同时保留其他数据,直到找到可接受的上传方式(可接受意味着实现了带宽成本/存储权衡)。

除了所有这些基本用例之外,还可以开发需要实时数据的全新应用,例如 V2V 通信(车对车)https://www.nhtsa.gov/technology-innovation/vehicle-vehicle-communication 或车对车联盟 https://www.car-2-car.org/。所有这些都需要高速且轻量级的存储——MinIO 提供的就是这种存储。

5G-6G 基站

5G 基站正在成为成熟的边缘数据中心。5G 不仅提供更高的数据带宽、更低的延迟,还提供某些新兴 AR 和 VR 应用所需的容错和可用性关键型通信服务。

因此,有更多数据通过基站传输到回程网络,然后再传输回来。而且这不仅限于用户流量。所有 5G 服务都需要记录有关服务使用情况的信息和遥测数据。还有更多数据。此外,为了维持某些 5G 应用的超低延迟要求,数据可能需要缓存在边缘,从而增加了对自动化和基站可靠数据存储的需求,以管理这种数据激增。

这推动了对边缘存储的空前需求。这种存储必须是软件定义的,它还必须轻量级且健壮。它必须具有高性能,从吞吐量和延迟方面来看都是如此。最后,它必须能够处理非结构化数据。所有这些都指向像 MinIO 这样的对象存储。

当然,6G 距离我们只有 3-5 年的时间。当 6G 推出时,关于 5G 数据的所有内容都会增加一个数量级。

总结

可能有一些物联网应用在今天以及整个活跃部署期间会生成少量数据,但大多数不会。无论我们走到哪里,都看到越来越多的复杂物联网应用正在部署。而这种日益增强的复杂性依赖于更多的数据生成,而不是更少的数据生成。

管理所有这些现场数据,避免数据丢失并将其可靠地复制/复制到其他地方,可以通过人工操作来完成,但这需要时间和金钱。或者,您可以将 S3 对象存储直接嵌入到您的物联网应用中,并让它可靠地存储、自动复制和复制所有这些数据。

选择权在您手中。