擦除码计算器 
参考硬件 面向 GenAI 技术栈的架构师指南 - 十大工具
这篇文章最初于 2024 年 6 月 3 日发表在 The New Stack 上。我之前写过关于现代数据湖参考架构的文章，讨论了每个企业面临的挑战——更多数据、老化的 Hadoop 工具（特别是 HDFS）以及对 RESTful API（S3）和性能的更高要求——但我希望填补一些空白。现代数据湖，有时被称为
阅读更多...
加速您的 AI 数据存储基础设施
您知道一些最佳 AI 模型的秘密吗？它们可以访问大量数据，并在这些数据上进行训练。对于 AI/ML 模型来说，快速可访问的数据是王道。我要强调，这不仅仅是数据，而是快速可访问的数据。
阅读更多...Dell ECS 数据迁移到 MinIO
Dell ECS 的“数据迁移”，也称为复制到云，是 ECS 3.8.0.1 中引入的一项功能，允许您将对象从 Dell ECS 复制到 MinIO，这对正在现代化其存储堆栈以满足其 AI 数据基础设施需求的客户和潜在客户非常受欢迎。
阅读更多...混合云管道的未来：整合 MinIO、Tailscale 和 GitHub Actions
简化您的数据处理能力，确保高质量的数据管理和安全操作。这种集成不仅增强了工作流自动化，而且利用了 MinIO 和 Tailscale 的高级功能，为现代数据处理需求提供了一个强大的解决方案。
阅读更多...在 Kubernetes 中使用 ElasticSearch 记录 MinIO 审计日志
无论您是在本地还是在云中，您都需要确保在云操作模型中以同构方式设置流程。本教程将全面概述如何将 MinIO 审计日志呈现在 ElasticSearch 中，以便可以搜索它们。
阅读更多...使用 MLRun 和 MinIO 进行模型训练和 MLOps
在我之前关于 MLRun 的文章中，我们设置了一台开发机器，它包含了所有实验 MLRun 所需的工具。具体来说，我们使用了 docker-compose 文件来创建 MLRun UI、MLRun API 服务、Nuclio、MinIO 和 Jupyter 服务的容器。容器启动后，我们运行了一个简单的冒烟测试，以确保一切正常。
阅读更多...人工智能基础设施的要点——与 AB Periasamy 和 Matthew DeMello 共同参与的 AI in Business 播客
MinIO 的联合创始人兼首席执行官 AB Periasamy 最近在 AI in Business 播客中亮相，与 Emerj 的高级编辑 Matthew DeMello 进行了深入的交谈，讨论了企业的人工智能基础设施和对象存储。在这篇博文中，我们将带您了解讨论的缩写版本。让我们开始吧。AB 和 Matthew
阅读更多...使用 MLRun 和 MinIO 设置开发机器
MLOps 对机器学习而言，就像 DevOps 对传统软件开发一样。两者都是一套旨在改进工程团队（Dev 或 ML）和 IT 运维团队（Ops）之间协作的实践和原则。目标是通过自动化来简化开发生命周期，从规划和开发到部署和运维。MLOps 的主要优势之一是
阅读更多...使用 Kubernetes 部署 MinIO 和 Trino
在本教程中，我们将部署一个协调的系统，允许跨存储在 MinIO 中的大型数据集进行分布式 SQL 查询，其中 Trino 利用来自 Hive Metastore 的元数据和来自 Redis 的表架构。
阅读更多...手动重新平衡 MinIO 现代数据湖
当通过添加新的服务器池扩展 MinIO 现代数据湖部署时，默认情况下它不会重新平衡对象。让我们深入了解如何在不影响集群操作的情况下顺利地重新平衡。
阅读更多...针对 AI/ML 工作负载的有状态 KES
在 Kubernetes 中以有状态配置实现 KES 可确保加密密钥在 pod 生命周期事件和重启过程中持久化。此设置在依赖外部 KMS 不是选项或不首选的环境中提供弹性。
阅读更多...从 Hadoop 迁移而无需大规模更换
了解如何从 HDFS 无缝迁移到现代对象存储，而无需拆除所有现有系统。学习宝贵的策略，保留必要的工具并使您的基础设施现代化，以适应 AI/ML。
阅读更多...使用 MinIO Weaviate 和 Langchain 在检索增强生成 (RAG) 管道中优化 AI 数据处理
深入了解 AI 的下一个前沿，使用 MinIO S3 对象存储和 SDK 增强 Weaviate 检索增强生成 (RAG) 管道，实现强大的数据管理。了解如何使用 LangChain 提高 AI 系统的效率，在可扩展的 AI 解决方案中开辟新的维度。
阅读更多...使用 Open-Parse 智能分块提高 RAG 性能
如果您正在实施使用大型语言模型 (LLM) 的生成式 AI 解决方案，则应考虑使用检索增强生成 (RAG) 的策略，为您的 LLM 构建上下文感知的提示。在支持 RAG 的 LLM 的预生产管道中，一个重要的过程是文档文本的分块，以便仅将文档中最相关的部分
阅读更多...航行：使用数据湖构建生产级 RAG 应用程序
在 2024 年年中，创建令人印象深刻且令人兴奋的 AI 演示很容易。带上一位强大的开发人员，进行一些巧妙的提示实验，并对强大的基础模型进行一些 API 调用，您通常可以在一个下午内构建一个定制的 AI 机器人。添加像 langchain 或 llamaindex 这样的库来增强您的 LLM，使用一些自定义的
阅读更多...构建下一代数据解决方案：SingleStore、MinIO 和现代数据湖栈
探索高性能云原生数据库 SingleStore 与 MinIO 在现代数据湖栈中的集成。本教程提供了数据存储、处理和查询方面的实践经验，促进数据管理、分析和 AI 工作负载的实验和创新。
阅读更多...使用 LangServe 构建和部署由 MinIO 支持的 LangChain 代理 API
探索利用 MinIO 和 LangChain 创建强大且高效的代理的激动人心的可能性，该代理能够处理复杂的数据处理任务。
阅读更多...迈向艾克斯级 AI 数据基础设施
我在 MinIO 工作刚满一周。从沉浸在白板会议、架构审查和客户电话中获得的最大收获是，产品的简洁性既是其独特之处，也是其最具决定性的价值驱动因素之一。这一点在规模上尤其如此。由于计算能力的爆炸式增长，
阅读更多...全栈 AI 工程师：现代全才
任何在团队环境中工作过的人都知道，每个成功的团队都有一个核心人物——那个特殊的人，无论你遇到什么问题，都能帮助你。在传统的软件开发团队中，这个人是一位经验丰富的程序员，并且还是另一项技术的专家，可能是像 Snowflake 这样的数据库技术
阅读更多...AI/ML 数据湖的参考架构指南
本文的简短版本于 2024 年 3 月 19 日发表在 The New Stack 上。在企业人工智能中，模型主要分为两种类型：判别式和生成式。判别式模型用于分类或预测数据，而生成式模型用于创建新数据。尽管生成式 AI 近期占据了新闻头条，但企业仍在
阅读更多...