Los componentes de Serverless para Apache Spark te permiten ejecutar cargas de trabajo por lotes de Apache Spark desde una canalización de Vertex AI Pipelines. Serverless para Apache Spark ejecuta las cargas de trabajo por lotes en una infraestructura de computación gestionada, escalando automáticamente los recursos según sea necesario.
Consulta más información sobre Google Cloud Serverless para Apache Spark y las cargas de trabajo de Spark compatibles.
En Serverless para Apache Spark, un recurso Batch representa una carga de trabajo por lotes.
El SDK incluye los siguientes operadores para crear recursos Batch y monitorizar su ejecución: Google Cloud
Referencia de la API
Para obtener información de referencia sobre los componentes, consulta la Google Cloud referencia del SDK de los componentes de Google Cloud Serverless para Apache Spark .
Para consultar la referencia de recursos de Serverless para Apache Spark, consulta la siguiente página de referencia de la API:
Batchresource
Tutoriales
Historial de versiones y notas de las versiones
Para obtener más información sobre el historial de versiones y los cambios del SDK de componentes de la canalización de Google Cloud , consulta las Google Cloud notas de la versión del SDK de componentes de la canalización.
Contactos de asistencia técnica
Si tienes alguna pregunta, ponte en contacto con kfp-dataproc-components@google.com.