AI 基于对象存储的真正原因

tl;dr: 在本文中,我们将探讨 AI 工作负载依赖于高性能对象存储的四个技术原因。1. 非结构化数据无限制 在当前的机器学习范式中,性能和能力随着计算能力的扩展而扩展,这实际上是数据集大小和模型大小的代理(神经语言模型的缩放定律,Kaplan 等人)。超
阅读更多...tl;dr: 在本文中,我们将探讨 AI 工作负载依赖于高性能对象存储的四个技术原因。1. 非结构化数据无限制 在当前的机器学习范式中,性能和能力随着计算能力的扩展而扩展,这实际上是数据集大小和模型大小的代理(神经语言模型的缩放定律,Kaplan 等人)。超
阅读更多...Tl;dr: 在本文中,我们将使用 MinIO Bucket Notifications 和 Apache Tika 进行文档文本提取,这是大型语言模型 (LLM) 训练和检索增强生成 (RAG) 等关键下游任务的核心。前提假设我想要构建一个文本数据集,然后我可以用它来微调
阅读更多...最近关于大型语言模型 (LLM) 的奇迹已经有很多说法了。这些赞誉大多是应得的。让 ChatGPT 描述广义相对论,你将得到一个非常好的(并且准确的)答案。然而,归根结底,ChatGPT 仍然是一个计算机程序(所有其他 LLM 也是如此),它正在盲目地执行
阅读更多...Tl;dr: 在本文中,我们将创建一个自定义图像数据集,然后训练一个 You-Only-Look-Once (YOLO) 模型来执行普遍的对象检测任务。然后,我们将实现一个使用 MinIO Bucket Notifications 的系统,该系统可以自动对新图像执行推理。简介:计算机视觉仍然是人工智能的一个极其引人注目的应用。无论是识别
阅读更多...通过利用 MinIO 对象存储的简单性,使您的 AI 模型服务更轻量级。tl;dr MinIO 对象存储可以用作机器学习模型的“单一事实来源”,并且在管理大型语言模型 (LLM) 的更改时,反过来使使用 PyTorch Serve 进行服务变得更高效。与往常一样,示例代码是
阅读更多...