机器学习 (ML) 工作流包括准备和分析数据、训练和评估模型、将训练过的模型部署到生产、跟踪 ML 工件和了解它们的依赖关系等步骤。以临时方式管理这些步骤可能非常困难且耗时。
MLOps 是应用 DevOps 实践来帮助自动化、管理和审核机器学习工作流的做法。AI Platform Pipelines 通过提供一个平台来帮助您实现 MLOps,在这个平台上,您可以将流程中步骤编排为流水线。机器学习流水线是机器学习工作流可移植且可复制的定义。
通过简化使用 TensorFlow Extended (TFX) 设置 Kubeflow 流水线的难度,您可以借助 AI Platform Pipelines 更轻松地启用 MLOps。Kubeflow Pipelines 是一个开放源代码平台,用于在 Kubernetes 上运行、监控、审核和管理机器学习流水线。TFX 是一个开源项目,用于构建机器学习流水线,该流水线可编排端到端机器学习工作流。
方法指南
-
设置 AI Platform Pipelines
了解如何设置 AI Platform Pipelines。
-
创建机器学习流水线
了解如何将机器学习过程编排为流水线。
-
运行机器学习流水线
了解如何访问 Kubeflow Pipelines 信息中心并运行流水线。
-
使用 Kubeflow Pipelines SDK 连接到 AI Platform Pipelines
了解如何使用 Kubeflow Pipelines SDK 连接到您的 AI Platform Pipelines 集群。
-
配置 GKE 集群
配置 Google Kubernetes Engine 集群,以确保 AI Platform Pipelines 拥有足够的计算资源以及对 Cloud Storage 或 BigQuery 等 Google Cloud 资源的访问权限。