大多数机器学习项目都从单线程概念验证开始，其中每个任务都必须在下一个任务开始之前完成。下面显示的单线程 ML 管道就是一个示例。但是，在某些时候，您将无法再使用上面显示的管道。这可能是由于数据集不再适合单个进程的内存导致的。

简介 分布式数据处理是高效端到端分布式机器学习训练管道的一个关键组成部分。如果您正在构建用于统计预测的基本神经网络，那么分布式训练可能意味着每个实验运行 10 分钟而不是 1 小时，这是正确的。如果您正在训练或微调大型语言模型 (LLM)，那么

简介 生成式 AI 代表了企业可以用来解锁其边界内被困数据的最新的技术。理解生成式 AI 的可能性最简单的方法是想象一个定制的大型语言模型——类似于为 ChatGPT 提供支持的模型——在您的防火墙内运行。现在，这个自定义 LLM 与

简介 在之前的文章中，我介绍了特征提取，这是一种利用预训练的大型语言模型 (LLM) 来解决自定义问题而无需重新训练模型的技术。特征提取是使用模型已经掌握的知识来解决与模型最初训练目的不同的任务的两种方法之一。

简介 在这篇文章中，我将介绍每位工程师都应该了解的一种利用开源大型模型的技术。具体来说，我将展示如何执行特征提取。特征提取是使用模型已经掌握的知识来解决与模型最初训练目的不同的任务的两种方法之一。

引言 加利福尼亚淘金热始于 1848 年，持续到 1855 年。据估计，大约 30 万人从美国其他地区和国外迁移到加利福尼亚。经济评估表明，平均只有半数人获得了适度的利润。其余的人要么亏损，要么收支平衡。很少有淘金者获得了可观的

引言 在之前关于 AI/ML 的几篇文章中，我提到 MinIO 的优势之一是它提供了版本控制、生命周期管理、对象锁定、对象保留和法律保留等工具。这些功能具有多种用途。您可能需要一种简单的方法来跟踪训练实验。您还可以使用这些功能来

这篇文章最初发表在 The New Stack 上。开发人员倾向于使用软件定义、开源、云原生和简单的技术。这基本上定义了对象存储。引言为机器学习 (ML) 项目的所有阶段选择最佳存储至关重要。研究工程师需要创建数据集的多个版本，并尝试不同的模型架构。当