擦除码计算器 
参考硬件 使用 Amazon 的 S3 连接器为 PyTorch 和 MinIO 创建地图式数据集
在深入研究 Amazon 的 S3 连接器为 PyTorch 之前，值得介绍一下它旨在解决的问题。许多 AI 模型需要在无法装入内存的数据上进行训练。此外，许多为计算机视觉和生成式 AI 建立的真正有趣的模型使用的数据甚至无法装入随附的磁盘驱动器
阅读更多...
通往可扩展 AI 的更轻松路径：英特尔 Tiber 开发者云 + MinIO 对象存储
如今，企业在 AI 和数据管理方面面临的最大挑战之一是获得可靠的基础设施和计算资源。英特尔 Tiber 开发者云专为需要环境来进行概念验证、实验、模型训练和服务部署的工程师而设计。与其他可能难以接近且复杂的云不同，英特尔 Tiber 开发者云简单易用
阅读更多...复制、数据整合和数据迁移
Parsec Labs 是一家工程师公司。大多数人设计过存储系统，负责备份和复制，或者在网络中构建交换机。该公司成立于 2013 年，其统一数据迁移和保护设备为大规模迁移、复制和备份数据提供了最直接的工具。常见请求作为一名一次性售前工程师，Parsec Labs 首席执行官 Mark Clark
阅读更多...Microblink：使用 MinIO 迁移计算和存储
Microblink 是一家专注于图像检测的 AI 公司。他们从身份领域起家，推出了 BlinkID、BlinkID Verify 和 BlinkCard 等产品。最近，他们的图像检测能力催生了能够处理其他类型图像的产品。例如，可以对收据执行产品检测，其中收据上的产品描述用于
阅读更多...开源还是闭源？AI 困境
这篇文章最初发表于 2024 年 7 月 29 日的 The New Stack 上。人工智能正在软件行业经历一场完美的风暴，而现在马克·扎克伯格呼吁开源 AI。三种强大的观点正在发生冲突，这些观点围绕如何控制 AI：1. 所有的 AI 都应该开源，以便共享和透明。 2. 保持 AI 闭源和
阅读更多...使用 MinIO、Langchain 和 Ray Data 构建分布式嵌入子系统
嵌入子系统是实现检索增强生成所需的四个子系统之一。它将您的自定义语料库转换为可以搜索语义含义的向量数据库。其他子系统包括用于创建自定义语料库的数据管道、用于查询向量数据库以向用户查询添加更多上下文信息的检索器，以及最终的
阅读更多...使用 Snorkel 和 MinIO 的数据中心 AI
在今天所有关于大型语言模型的讨论中，它们的编码器、解码器、多头注意力层以及数十亿（很快将达到万亿）个参数，人们很容易相信优秀的 AI 仅仅是模型设计的结果。不幸的是，情况并非如此。优秀的 AI 需要更多的东西，不仅仅是设计良好的模型。它还需要构建良好的训练
阅读更多...机器学习运营 (MLOps) 架构师指南
MLOps，即机器学习运维，是一套旨在满足构建模型并将其投入生产的工程师特定需求的实践和工具集。一些组织从使用少数内部工具开始，这些工具在每次实验后对数据集进行版本控制，并在每次训练周期后对模型进行检查点。另一方面，许多组织选择
阅读更多...架构师指南：GenAI 技术栈 - 十种工具
本文最初发布于 2024 年 6 月 3 日的 The New Stack。我之前写过关于现代数据湖参考架构的文章，探讨了每个企业所面临的挑战——更多数据、老化的 Hadoop 工具（特别是 HDFS）以及对 RESTful API（S3）和性能的更高要求——但我希望填补一些空白。现代数据湖，有时被称为
阅读更多...使用 MLRun 和 MinIO 进行模型训练和 MLOps
在我之前关于 MLRun 的文章中，我们设置了一台开发机器，其中包含所有必要的工具来进行 MLRun 实验。具体来说，我们使用了一个 docker-compose 文件来创建 MLRun UI、MLRun API 服务、Nuclio、MinIO 和 Jupyter 服务的容器。容器启动后，我们运行了一个简单的冒烟测试，以确保一切正常运行。
阅读更多...使用 MLRun 和 MinIO 设置开发机器
MLOps 之于机器学习，就像 DevOps 之于传统软件开发。两者都是旨在改进工程团队（开发或 ML）和 IT 运维团队（运维）之间协作的一套实践和原则。目标是使用自动化来简化开发生命周期，从规划和开发到部署和运维。MLOps 的主要优势之一是
阅读更多...使用 Open-Parse 智能分块提高 RAG 性能
如果您正在使用大型语言模型 (LLM) 实施生成式 AI 解决方案，您应该考虑一种使用检索增强生成 (RAG) 来构建上下文感知提示的策略。在 RAG 驱动的 LLM 的预生产流程中，一个重要的步骤是将文档文本进行分块，以便仅将文档的最高相关部分
阅读更多...架构师指南：现代数据湖参考架构
本文的缩略版发布于 2024 年 3 月 26 日的 The New Stack。旨在最大化其数据资产的企业正在采用可扩展、灵活和统一的数据存储和分析方法。这种趋势是由负责构建与不断变化的业务需求相一致的基础设施的企业架构师推动的。现代数据湖架构通过集成以下内容来满足这一需求：
阅读更多...全栈 AI 工程师：现代全才
任何在团队环境中工作过的人都知道，每个成功的团队都有一个可以依靠的人——那个无论你遇到什么问题都能帮助你的特殊人物。在传统的软件开发团队中，这个人是一位经验丰富的程序员，并且也是另一项技术的专家，这可能是像 Snowflake 这样的数据库技术。
阅读更多...架构师指南：AI/ML 数据湖参考架构
本文的缩略版发布于 2024 年 3 月 19 日的 The New Stack。在企业人工智能中，主要存在两种类型的模型：判别模型和生成模型。判别模型用于对数据进行分类或预测，而生成模型用于创建新数据。尽管生成式 AI 近来占据了新闻头条，但组织仍在
阅读更多...MinIO 企业缓存：用于超高性能的分布式 DRAM 缓存
随着计算世界的演进和 DRAM 价格的暴跌，我们发现服务器配置通常配备 500GB 或更多的 DRAM。当您处理更大规模的部署时，即使是那些使用超高密度 NVMe 驱动器的部署，服务器数量乘以这些服务器上的 DRAM 也会迅速增加——通常达到数 TB。该 DRAM
阅读更多...饥饿的 GPU 需要快速的对象存储
一环薄弱，全局皆毁——您的 AI/ML 基础设施的速度仅取决于最慢的组件。如果您使用 GPU 训练机器学习模型，那么您的薄弱环节可能是您的存储解决方案。结果就是我所说的“饥饿的 GPU 问题”。饥饿的 GPU 问题发生在您的网络或您的
阅读更多...LLM 的优势、劣势和危险
最近关于大型语言模型 (LLM) 的奇效，人们已经谈论了许多。这些赞誉大多是应得的。让 ChatGPT 描述广义相对论，您将得到一个非常好的（且准确的）答案。然而，归根结底，ChatGPT 仍然是一个计算机程序（所有其他 LLM 也是如此），它是在盲目执行
阅读更多...使用 MinIO 构建符合 S3 标准的股票市场数据湖
在我之前所有关于 MinIO 的文章中，只要需要编写代码，我都会使用 MinIO 的 Python SDK，该 SDK 文档位于此处。我更喜欢这个 SDK，因为它易于使用，并提供对 MinIO 企业功能的编程访问，例如生命周期管理、对象锁定、存储桶通知和站点复制。（我已经展示了如何设置
阅读更多...使用 Ray Train、MLflow 和 MinIO 进行分布式训练和实验跟踪
在过去的几个月里，我写过关于多种不同技术的文章（Ray Data、Ray Train 和 MLflow）。我认为将它们全部整合在一起，提供一个易于理解的配方，用于使用面向生产的 MLOPs 工具进行分布式数据预处理和分布式训练，以进行跟踪和模型服务，将很有意义。本文整合了我在
阅读更多...