使用 lakeFS 和 MinIO 实现 AI/ML 可重复性

AI/ML Reproducibility with lakeFS and MinIO

这篇文章是与来自 lakeFS 的 Amit Kesarwani 合作撰写的。运行多个机器学习实验的现实情况是,管理它们可能会变得不可预测且复杂,尤其是在团队环境中。通常发生的情况是,在研究过程中,团队不断在实验之间更改配置和数据。例如,尝试几个训练集和几个超参数

阅读更多...

利用 MinIO 和 lakeFS 进行并行 ML 实验

Parallel ML Experimentation leveraging MinIO & lakeFS

简介这篇文章是与来自 lakeFS 的 Iddo Avneri 合作撰写的。管理 ML 模型日益增长的复杂性和不断增长的数据量,对于 ML 从业人员来说已经成为一项艰巨的挑战。高效的数据管理和数据版本控制现在是成功 ML 工作流程的关键方面。在这篇博文中,我们将深入探讨并行 ML 的强大功能

阅读更多...

利用 cnvrg.io 上的 RAG 和 MinIO 增强大型语言模型

Enhance Large Language Models Leveraging RAG and MinIO on cnvrg.io

这篇文章是与来自 cnvrg.io 的 Harinder Mashiana 合作撰写的。大型语言模型 (LLM) 彻底改变了科技领域,为文本分析、语言翻译和聊天机器人交互提供了强大的功能。根据 OpenAI 的说法,这场革命将对企业产生重大影响,大约 80% 的美国劳动力可能会受到其工作任务中至少 10% 的影响

阅读更多...

TDWI 对 AB Periasamy 的问答:为什么成功的企业将数据放在首位

几个月前,TDWI 的 James Powell 与 MinIO 联合创始人兼首席执行官 AB Periasamy 坐在一起,讨论数据领域中的趋势和挑战。原始采访(来自 TDWI 的 Upside)可以在这里找到 [https://tdwi.org/Articles/2019/11/26/TA-ALL-Why-Successful-Companies-Think-Data-First.aspx?Page=1],但我们将其保留在下面以备后用。Upside:为什么

阅读更多...

安全公告

摘要:发现了针对 MinIO 服务器的拒绝服务 (DoS) 可能性,并在 RELEASE.2019-08-07T01-59-21Z 中修复了该问题。严重程度:中级受影响者:RELEASE.2019–03–06T22–47–10Z 或更新版本的 MinIO 服务器的所有用户都会受到影响。此外,使用 STS 的 RELEASE.2019–03–06T22–47–10Z 或更新版本的 MinIO 网关的所有用户都会受到影响

阅读更多...

安全公告

摘要:发现了针对 MinIO 服务器 IAM 实现的未经授权的存储桶访问可能性,并在 RELEASE.2019–06–15T23–07–18Z 中修复了该问题。严重程度:高受影响者:MinIO 服务器和网关的 IAM 功能的所有用户都会受到影响。强烈建议升级。针对用户的推荐操作:建议所有用户升级其 Minio

阅读更多...

安全公告

摘要:发现了针对 MinIO 服务器 IAM 实现的两种不同的特权提升可能性,并在 RELEASE.2019–04–04T18–31–46Z 中修复了该问题。严重程度:高受影响者:MinIO 服务器的所有用户都会受到影响。MinIO 网关的用户不受影响。但是,仍然建议升级。针对用户的推荐操作:所有用户

阅读更多...

安全公告

摘要:在 Minio 服务器 S3 和 Admin API 上发现了以另一个用户身份进行身份验证的可能性,并在 RELEASE.2019–02–20T22–44–29Z 中修复了该问题。严重程度:中级受影响者:使用多用户 [https://docs.minio.io/docs/minio-multi-user-quickstart-guide.html] 功能的所有用户都会受到影响。但是,仍然建议每个人升级。针对用户的推荐操作:为了

阅读更多...

安全公告

概述:发现针对 Minio 服务器存储 API 的身份验证绕过可能性,已在 RELEASE.2019–02–12T21–58–47Z 中修复。严重程度:严重。受影响的用户:此问题存在于 2018 年 10 月 4 日之后的 Minio 所有版本中。所有使用分布式擦除后端的用户都受到影响。使用 FS 和网关后端的用户不受影响。

阅读更多...

安全公告

概述:发现 SSE-C 安全保证违规行为,已在 RELEASE.2018–07–10T01–42–11Z [https://github.com/minio/minio/releases/tag/RELEASE.2018-07-10T01-42-11Z] 中修复。严重程度:低。受影响的用户:所有使用 S3 SSE-C API 存储对象并至少两次为不同对象使用相同客户端提供的密钥的用户。推荐的行动方案

阅读更多...

安全公告

概述:发现针对 Minio 服务器的拒绝服务 (DoS) 漏洞,已在 RELEASE.2018–05–25T19–49–13Z [https://github.com/minio/minio/tree/RELEASE.2018-05-25T19-49-13Z] 中修复。严重程度:中。受影响的用户:所有使用签名 V4 身份验证的用户都受到影响。使用签名 V2 身份验证的用户不受影响。推荐的行动方案:所有用户都

阅读更多...

洪水来袭

Here Comes The Flood

1994 年,EMC 的 Symmetrix 以其 1TB(太字节)的企业存储系统最大容量,在业界树立了标杆。2016 年,NetApp 推出了 FAS9000,该系统在 24 节点集群配置中拥有约 172PB(拍字节)的原始容量。22 年后增长 172,000 倍,同时大幅提高性能并增加了数十项精彩功能,这无疑令人印象深刻。但

阅读更多...

数据在静止状态下的加密的 Go 实现

简介加密网络流量正在成为默认选择。存在像 SSH 和 TLS 这样的标准协议,以及像 Let’s Encrypt 这样的项目来保护通过网络发送的数据。例如,TLS 会接收数据流,将流分成消息,并在通过网络发送之前加密每条消息。TLS 确保每条消息都被加密

阅读更多...

使用 Raspberry Pi 的 MinIO 服务器指标

今天我们将看看一个用于 MinIO 服务器的物联网压力表。这是 Alex Ellis 使用 Raspberry Pi、Docker 和 MinIO 构建的一个很酷的黑客作品。> 在为开源 MinIO 项目贡献代码以启用 Webhook 后,Alex 想可视化通过其服务器的流量。他的黑客作品显示了对象获取的速率

阅读更多...

调试 Go 协程泄漏

在开始调试 Go 协程泄漏之前,让我简单介绍一些基础知识,这些知识将为您提供更广泛的问题视角。并发编程。* 并发编程处理程序的并发执行,其中多个顺序执行流同时运行,从而导致计算执行更快。* 它有助于更好地利用多核

阅读更多...

如何使用 VMware Harbor 与 MinIO?

Harbor [https://github.com/vmware/harbor] 是一款企业级 Docker 注册表服务器,用于存储和分发容器镜像。请遵循本文件将 MinIO 对象存储服务器用作 Harbor 容器注册表的存储后端。先决条件安装并运行 MinIO [https://github.com/minio/minio#docker-container] 服务器 docker run -p 9000:9000 --name minio \ -e "MINIO_ACCESS_KEY=minio&

阅读更多...

介绍 MinIO 的 Webhook

MinIO 提供与一系列后端系统的集成,使您能够为您的项目构建完整的解决方案。团队最近从社区中集成了一个拉取请求,以添加 Webhook 支持,并想告诉您一些相关信息。

阅读更多...

通过 NATS 发布 Minio 事件

简介Minio [https://www.minio.io/] 服务器支持针对以下目标的 Amazon S3 兼容存储桶事件通知 AMQP [https://www.amqp.org/about/what]、Elasticsearch [https://elastic.ac.cn/guide/en/elasticsearch/reference/current/getting-started.html]、Redis [https://redis.ac.cn/documentation]、nats.io [http://nats.io/]、PostgreSQL [https://postgresql.ac.cn/] 和 Apache Kafka [http://kafka.apache.org/]。第 4 部分

阅读更多...

通过 Redis 发布 MinIO 事件

简介Minio [https://www.minio.io/] 服务器支持针对以下目标的 Amazon S3 兼容存储桶事件通知 AMQP [https://www.amqp.org/about/what]、Elasticsearch [https://elastic.ac.cn/guide/en/elasticsearch/reference/current/getting-started.html]、Redis [https://redis.ac.cn/documentation]、nats.io [http://nats.io/]、PostgreSQL [https://postgresql.ac.cn/] 和 Apache Kafka [http://kafka.apache.org/]。第 3 部分

阅读更多...