Introducción a los componentes de flujos de procesamiento de Google Cloud

El SDK de Google Cloud Google Cloud Pipeline Components(GCPC) proporciona un conjunto de componentes de Kubeflow Pipelines prediseñados que son de calidad de producción, eficientes y fáciles de usar. Puedes usar Google Cloud componentes de flujo de procesamiento para definir y ejecutar flujos de procesamiento de aprendizaje automático en Vertex AI Pipelines y otros back-ends de ejecución de flujos de procesamiento de aprendizaje automático que cumplan los requisitos de Kubeflow Pipelines.

Por ejemplo, puedes usar estos componentes para hacer lo siguiente:

  • Crea un conjunto de datos y carga diferentes tipos de datos en él (imágenes, datos tabulares, texto o vídeo).
  • Exportar datos de un conjunto de datos a Cloud Storage.
  • Usa AutoML para entrenar un modelo con datos de imagen, tabulares o de vídeo.
  • Ejecuta una tarea de entrenamiento personalizada con un contenedor personalizado o un paquete de Python.
  • Sube un modelo a Vertex AI para hacer predicciones por lotes.
  • Crea un endpoint y despliega un modelo en él para hacer predicciones online.

Además, Google Cloud Pipeline Components admite estos componentes precompilados en Vertex AI Pipelines y ofrece las siguientes ventajas:

  • Depuración más sencilla: muestra los recursos subyacentes que se han iniciado desde el componente para simplificar la depuración.
  • Tipos de artefactos estandarizados: proporcionan interfaces coherentes para usar tipos de artefactos estándar para la entrada y la salida. Vertex ML Metadata hace un seguimiento de estos artefactos estándar, lo que te permite analizar más fácilmente el linaje de los artefactos de tu canalización. Para obtener más información sobre el linaje de los artefactos, consulta Seguimiento del linaje de los artefactos de la canalización.
  • Conocer los costes de los flujos de trabajo con etiquetas de facturación: las etiquetas de recursos se propagan automáticamente a los Google Cloud servicios generados por los Google Cloud componentes de flujo de trabajo en la ejecución del flujo de trabajo. Usa etiquetas de facturación junto con la exportación de Facturación de Cloud a BigQuery para revisar el coste de la ejecución de tu canalización. Para obtener más información sobre cómo usar etiquetas para conocer el coste de una ejecución de una canalización, consulta el artículo Conocer los costes de las ejecuciones de canalizaciones. Para obtener más información sobre cómo se propagan las etiquetas de una ejecución de un flujo de trabajo a los recursos generados por los Google Cloud componentes de flujo de trabajo, consulta el artículo Etiquetado de recursos por Vertex AI Pipelines.
  • Eficiencia de costes:* Vertex AI Pipelines optimiza la ejecución de estos componentes lanzando los recursos de Google Cloud sin tener que lanzar el contenedor. De esta forma, se reduce la latencia de inicio y los costes del contenedor de espera activa.
* Esta función solo se aplica a los siguientes componentes:
  • CustomTrainingJobOp
  • WaitGcpResourcesOp (para Dataflow)
  • DataflowPythonJobOp

Siguientes pasos