混合云管道未来：集成 MinIO、Tailscale 和 GitHub Actions

David Cannan David Cannan on DevOps 2024 年 5 月 24 日

The Future of Hybrid Cloud Pipelines: Integrating MinIO, Tailscale, and GitHub Actions

数据处理是现代软件开发中的基本实践。它使团队能够自动化数据的收集、处理和存储，从而确保高质量的数据和高效的处理。

在本文中，我们将探讨如何设置一个全面的数据处理管道，该管道突出了使用 Tailscale GitHub Action 进行安全网络连接。此设置还将包含一个 GitHub Actions 工作流程和 MinIO Python SDK。虽然主要重点是展示 Tailscale 动作，但我们还将利用“动态 ETL 管道”文章中的 hydrate.py 脚本，以有效地从 Web 源收集、处理和组织数据，确保数据安全存储在 MinIO 中并在 Weaviate 中有效地编制索引。

Tailscale 已经成为一个游戏规则改变者，使用户能够轻松地从 GitHub Actions 工作流程连接到他们的混合云 VPN。Tailscale GitHub action 可在 action 市场获得，极大地简化了此流程。

这个看似微不足道的步骤对开发人员和工程师具有重大意义。它实际上消除了对 Jenkins 类基础设施 用于开发目的的需要。通过利用 GitHub Actions 工作流程，我们可以直接在我们的存储库中创建和构建作业工作流程，而不受 GitHub Runners 或自托管运行器的硬件和限制的约束。这种奇妙的设置释放了安全、可扩展性和灵活性，将您的软件开发工作流程提升到新的高度。

拥抱现代数据处理管道的强大功能

数据处理管道对于自动化数据的收集、处理和存储阶段至关重要，以确保高效的处理和高质量的数据。但是，随着项目的复杂性和规模的增长，与管理这些管道相关的挑战也随之增加。安全性、数据处理和网络效率是当今开发人员面临的首要问题。

使用 Tailscale 实现的安全范式转变

Tailscale 通过创建零信任网络环境彻底改变了网络安全。它使用 WireGuard 协议加密设备之间的所有通信，确保只有授权用户和设备才能访问您的网络。这在数据处理管道中尤为重要，因为敏感数据和代码在系统之间不断传输。

通过将 Tailscale 与 GitHub Actions 集成，我们可以确保我们的数据处理工作流程在安全的网络环境中运行，从而消除与公共互联网暴露相关的漏洞。此设置不仅增强了安全性，而且简化了网络配置，减少了维护安全管道相关的开销。

通过无缝网络集成实现效率

数据处理管道中最大的瓶颈之一是网络延迟和配置复杂性。Tailscale 通过创建一个将所有设备和服务连接在一起的无缝网络来解决这个问题，就好像它们都在同一个本地网络上一样。这使得 GitHub Actions 运行器与 MinIO 存储之间的通信更快、更可靠。

使用 MinIO 的对象存储实现可扩展性

MinIO 提供与 S3 兼容的对象存储，可以根据您的数据需求轻松扩展。随着项目的增长，数据处理管道生成和处理的数据量呈指数级增长。MinIO 的高性能对象存储确保这些数据得到高效、可靠地处理，使其成为现代数据处理工作流程的理想解决方案。

MinIO 的可扩展性不仅仅是关于处理大量数据，还包括与各种工具和服务无缝集成。无论您是存储构建工件、日志还是其他生成的数据，MinIO 的分布式架构都能确保高可用性和持久性。

统一方法：GitHub Actions、Tailscale 和 MinIO

数据处理是现代软件开发中的基本实践。它使团队能够自动化数据的收集、处理和存储，从而确保高质量的数据和高效的处理。在本文中，我们将探讨如何使用 GitHub Actions、MinIO 用于对象存储和 Tailscale GitHub Action 用于安全网络来设置数据处理管道。我们还将利用 hydrate.py 脚本来自 “动态 ETL 管道” 文章，以有效地从 Web 源收集、处理和组织数据，同时将其安全地存储在 MinIO 中并在 Weaviate 中编制索引。

这种奇妙的设置释放了安全、可扩展性和灵活性，将您的软件开发工作流程提升到新的高度。

先决条件

在开始之前，请确保已满足以下先决条件

MinIO 服务器：已安装并可访问，无论是在本地还是在云环境中。
Tailscale 网络：已配置并拥有活动帐户和访问密钥。
GitHub 存储库：已设置并具有必要的访问权限。
Python 环境：已安装 MinIO SDK 以与 MinIO 服务器交互。
GitHub 秘密：已安全存储 MinIO 凭据和 Tailscale 密钥。

数据处理管道的存储库结构

为了使您的项目井井有条，请考虑以下存储库结构

.
├── .github
│   ├── workflows
│   │   └── hydrate-ts-workflow.yml
│   └── scripts
│       └── hydrate.py
├── urls.txt
└── README.md

示例目录结构

.github/workflows: 用于存储 GitHub Actions 工作流程文件的目录
.github/scripts: 用于存储工作流程中使用的脚本的目录，例如 hydrate.py
urls.txt: 包含 hydrate.py 脚本要处理的 URL 列表的文件
README.md: 项目文档，包括针对贡献者的说明

使用 GitHub Actions 配置数据处理管道

将 GitHub Actions 与 MinIO 和 Tailscale 集成以增强数据处理管道

拥有一个健壮且安全的数据处理管道至关重要，但如果我们告诉你，你可以通过将 GitHub Actions 与 Tailscale 的安全网络和 MinIO 的高性能存储解决方案集成，将你的管道提升到一个新的水平呢？在本文中，我们将逐步指导您设置一个数据处理管道，该管道不仅利用了 GitHub Actions 的强大功能，而且还确保了顶级安全性和高效的数据处理。

步骤 1：使用 OAuth 和 Tailscale 实现无缝身份验证

首先，让我们谈谈身份验证。我们将使用 OAuth 和 Tailscale 来确保基于令牌的安全凭据管理。通过在 Tailscale 的管理面板中设置 OAuth 客户端，我们使 GitHub Actions 能够无缝地进行身份验证。此步骤保证我们网络中的所有通信都受到 Tailscale 加密通道的保护，确保我们的数据安全无虞。

要创建 Tailscale 中的 OAuth 客户端，请执行以下步骤

登录您的 Tailscale 管理面板。
导航到“OAuth 客户端”部分。
点击“新 OAuth 客户端”并为您的客户端提供一个名称。
设置您的 CI/CD 管道所需的适当权限和范围。
生成 OAuth 客户端 ID 和密钥，您将在后面的步骤中使用它们。

步骤 2：使用 Tailscale 的 ACL 强制执行精确访问

接下来，我们深入了解在 Tailscale 中配置访问控制列表 (ACL)。在这里，我们定义和限制网络的不同部分如何交互。通过仔细制定 ACL 规则，我们确保 GitHub Actions 运行器只有权访问其所需的资源，防止对我们网络的敏感区域进行任何未经授权的访问。

以下是一个 ACL 配置示例

{
 "groups": {
    "group:dev": ["$github_user_email", "$admin_user_email",],
  },
  "acls": [
    {
      "action": "accept",
      "src": ["tag:ci"],
      "dst": ["tag:infra:*"]
    }
  ],
  "tagOwners": {
    "tag:ci": ["group:dev"],
    "tag:infra": ["group:dev"]
  }
}

示例 ACL JSON

在这个示例中，我们定义了一个 ACL 规则，该规则允许来自标记为“ci”的设备的流量到标记为“infra”的设备上的任何服务。tagOwners 部分指定哪些用户可以分配这些标签，从而维护对配置的控制。

步骤 3：使用 GitHub 秘密安全地管理敏感数据

现在，让我们谈谈如何安全地管理敏感信息。GitHub 秘密来解救！我们将存储我们的 oauth-client-id 和 oauth-secret 作为 GitHub 秘密，它们是加密的，并且在工作流程执行期间只能由 GitHub Actions 访问。

要设置 GitHub 秘密，请执行以下操作

转到您的 GitHub 存储库的设置。
导航到“秘密”部分。
点击“新存储库秘密”并为您的秘密提供一个名称（例如，TS_OAUTH_CLIENT_ID、TS_OAUTH_SECRET）。
输入您的 Tailscale OAuth 客户端 ID 和密钥的相应值。

然后，您可以在 GitHub Actions 工作流程文件中引用这些秘密，以下是如何将 Tailscale 的 GitHub Action 集成到您的工作流程中的示例

steps:
  - name: Setup Tailscale
    uses: tailscale/github-action@v2
    with:
      oauth-client-id: ${{ secrets.TS_OAUTH_CLIENT_ID }}  
      oauth-secret: ${{ secrets.TS_OAUTH_SECRET }}
      tags: tag:ci

示例 Tailscale Action 步骤实现

在这个示例中，我们使用 `tailscale/github-action` 在我们的工作流程中设置 Tailscale。我们使用之前创建的 GitHub 秘密提供 OAuth 客户端 ID 和密钥。`tags` 参数指定分配给 GitHub Actions 运行器的标签，这将根据我们定义的 ACL 规则确定其在 Tailscale 网络中的访问级别。

步骤 4：故障排除和持续改进

没有一个设置是完美的，挑战可能会出现。但不要害怕！通过预测 OAuth 身份验证错误或 ACL 配置错误等常见问题，我们可以迅速解决这些问题，而不会造成重大停机时间。以下是关于 Tailscale 和 MinIO 集成故障排除的一些提示

Tailscale 故障排除提示

仔细检查 OAuth 凭据: 确保您的 OAuth 客户端 ID 和密钥输入正确，没有错别字或复制粘贴错误。准确的凭据对于成功身份验证至关重要。有关更多详细信息，请访问 Tailscale OAuth 故障排除指南.
验证 ACL 规则: 确保您的访问控制列表 (ACL) 规则定义正确，并与 GitHub Actions 工作流程中使用的标签匹配。ACL 中的配置错误会导致权限问题。确保 ACL 中分配给设备的标签在您的 GitHub Actions 设置中正确引用。从 Tailscale 的 ACL 文档中了解更多信息。
检查 OAuth 范围和权限：如果您遇到权限问题，请验证您的 OAuth 客户端在 Tailscale 中是否具有必要的范围和权限。这将确保客户端可以在您的 tailnet 中执行所需的操作。更多信息可在 Tailscale GitHub Actions 指南中找到。
使用短暂身份验证密钥：为了避免与机器特定密钥冲突，尤其是在您的 GitHub Actions 的多个实例可能同时运行的情况下，请使用短暂身份验证密钥。这些密钥允许 Tailscale 管理短暂节点并在它们脱机时自动清理它们。有关更多信息，请阅读 Tailscale 的短暂密钥文档。
监控网络状态：使用 Tailscale 命令（如 `tailscale status` 和 `tailscale ping`）检查您的流量是否正在正确路由并诊断连接问题。这些命令有助于确定流量是通过直接路径还是通过中继服务器 (DERP) 传输。查看 Tailscale CLI 文档。

MinIO 故障排除技巧

检查访问权限：确保访问密钥和密钥正确配置，并具有执行您想要执行的操作所需的权限。配置错误的权限会导致在尝试在与 S3 兼容的工具中复制或粘贴对象时出现“访问被拒绝”错误。详细的故障排除步骤可以在 MinIO 的 GitHub 讨论中找到。
验证 TLS 证书：如果 MinIO 在分布式模式下在使用 TLS 证书时无法访问，请验证证书是否已正确安装和配置。TLS 证书问题可能会阻止正确访问 MinIO 服务。请参考 MinIO 的 TLS 配置指南。
监控和重启服务：使用 MinIO 的运行状况检查和监控工具来监控您的服务器状态。如果您遇到问题，通过 MinIO 控制台重启服务或使用 `mc admin service restart` 等命令可以解决瞬时问题。在 MinIO 的官方文档中了解有关 MinIO 服务管理的更多信息。
解决端口冲突：如果 MinIO 服务由于端口冲突而无法启动，请识别并解决可能正在占用所需端口的任何进程。这可能涉及停止冲突的服务或重新配置 MinIO 以使用不同的端口。有关更多详细信息，请访问 MinIO 故障排除指南。
验证文件权限：确保 MinIO 二进制文件、配置文件和数据目录具有正确的文件权限。配置错误的权限可能会阻止 MinIO 启动或正常运行。MinIO 二进制文件通常应具有 root 权限，而数据目录应由 MinIO 服务用户拥有。详细步骤可在 MinIO 文件权限指南中找到。

通过将这些故障排除技巧纳入您的管道文档，您可以快速解决和解决常见问题，确保您的数据处理工作流平稳高效地运行。

将数据处理管道与 GitHub Actions、MinIO 和 Tailscale 集成和调度

为了深入了解使用 GitHub Actions 集成数据处理管道，并通过 Tailscale 的安全连接和 MinIO 的强大数据处理功能进行增强，以下 YAML 文件演示了我们如何通过工作流自动执行 URL 数据的处理和记录。

工作流配置概述

我们定义在 YAML 文件中的数据处理工作流由推送到主分支的事件、手动触发器和计划事件触发。此设置确保我们的管道在每次将更改推送到主分支、按指定时间表或手动触发时自动运行。下面，我们将概述工作流配置的关键组件。

name: Process and Log URL Data

on:
  push:
    branches:
      - main
  schedule:
    - cron: '0 0 * * *'  # Runs at midnight UTC every day
  workflow_dispatch:

jobs:
  hydrate-minio-weaviate:
    runs-on: ubuntu-latest
    steps:
      - name: Checkout repository
        uses: actions/checkout@v2

      - name: Set up Python
        uses: actions/setup-python@v2
        with:
          python-version: '3.8'
      
      - name: Install Python dependencies
        run: |
          python -m pip install --upgrade pip
          pip install requests minio weaviate-client pydantic unstructured python-dotenv

      - name: Load environment variables
        run: |
          echo "MINIO_ACCESS_KEY=${{ secrets.MINIO_ACCESS_KEY }}" >> $GITHUB_ENV
          echo "MINIO_SECRET_KEY=${{ secrets.MINIO_SECRET_KEY }}" >> $GITHUB_ENV
          echo "WEAVIATE_ENDPOINT=${{ secrets.WEAVIATE_ENDPOINT }}" >> $GITHUB_ENV

      - name: Setup Tailscale
        uses: tailscale/github-action@v2
        with:
          oauth-client-id: ${{ secrets.TS_OAUTH_CLIENT_ID }}
          oauth-secret: ${{ secrets.TS_OAUTH_SECRET }}
          tags: tag:ci

      - name: Run Hydrate Script
        run: |
          python ./hydrate/hydrate.py ./hydrate/urls.txt cda-datasets process_log.txt
        shell: bash

      - name: Upload Process Log as Artifact
        uses: actions/upload-artifact@v2
        with:
          name: processed-urls-log
          path: process_log.txt

关键工作流步骤说明

签出仓库： 此步骤从您的 GitHub 仓库签出代码，确保工作流中使用最新版本。
设置 Python： 我们将工作流配置为使用 Python 3.8，为脚本执行准备环境。
安装 Python 依赖项： 安装必需的库，如 requests、minio、weaviate-client、pydantic、unstructured 和 python-dotenv。这些对于运行 hydrate.py 脚本（处理 URL 并与 MinIO 和 Weaviate 交互）是必需的。
加载环境变量： 在这里，我们安全地加载环境变量，例如 MinIO 访问密钥和 Weaviate 端点，这些变量来自 GitHub Secrets，对于安全高效地访问外部资源至关重要。
设置 Tailscale： 使用 Tailscale GitHub Actions 来设置安全连接。此步骤对于维护安全管道至关重要，它利用 OAuth 进行身份验证，并确保工作流在安全网络环境中运行。
运行 Hydrate 脚本： 此命令使用指定参数执行 hydrate.py 脚本，处理来自 urls.txt 的数据，并通过 MinIO 和 Weaviate 进行处理。
将处理日志上传为工件： 最后，将处理日志上传为工件到 GitHub，便于访问和审查工作流生成的输出。

触发和调度工作流

为了确保数据处理管道在适当的时间运行，我们使用各种触发器。

推送到分支的事件： 只要将更改推送到指定的分支，就会自动触发工作流，确保数据处理与最新更新一起运行。
计划事件： 使用 cron 语法来调度工作流在特定时间间隔运行，例如每天午夜 UTC，从而允许定期数据处理。
手动触发： 允许通过工作流的调度事件从 GitHub 界面手动触发工作流，为临时数据处理需求提供灵活性。

通过将这些步骤集成到我们的 GitHub Actions 工作流中，我们创建了一个健壮、安全且高效的数据处理管道，可以自动执行数据的收集、处理和存储。这种配置不仅确保高质量的数据处理，还利用 MinIO 的高级对象存储功能和 Tailscale 的安全网络功能。有了此设置，您的团队可以实现更快、更可靠的数据处理，满足现代开发标准。

提升您的数据处理管道

将 GitHub Actions 与 Tailscale 和 MinIO 集成可以显着提高数据处理管道的安全性、效率和可扩展性。本文介绍了如何将这些工具组合在一起，创建一种统一的方法，确保健壮且可靠的数据工作流，可以应对未来的挑战。通过利用 Tailscale 的安全网络和 MinIO 的可扩展对象存储，您可以简化流程，实现更快、更安全的数据管理。拥抱这种强大的集成，将您的数据处理能力提升到新的高度。

那么，您还在等什么？立即开始将 GitHub Actions 与 MinIO 和 Tailscale 集成，亲身体验增强型数据处理管道的强大功能。完成后，请前往 MinIO Slack 炫耀一下！祝您编码愉快！