Crea una instancia con Dataproc habilitado

En esta página, se describe cómo crear una instancia de Vertex AI Workbench habilitada para Dataproc. En esta página, también se describen los beneficios del complemento JupyterLab de Dataproc y se proporciona una descripción general de cómo usar el complemento con Dataproc sin servidor para Spark y Dataproc en Compute Engine.

Descripción general del complemento de JupyterLab de Dataproc

Las instancias de Vertex AI Workbench tienen el complemento JupyterLab de Dataproc preinstalado, a partir de la versión M113 y versiones posteriores.

El complemento JupyterLab de Dataproc proporciona dos formas de ejecutar trabajos de notebooks de Apache Spark: clústeres de Serverless Dataproc y Spark en Dataproc.

  • Los clústeres de Dataproc incluyen un conjunto rico de funciones con control sobre la infraestructura en la que se ejecuta Spark. Eliges el tamaño y la configuración de tu clúster de Spark, lo que te permite personalizar y controlar tu entorno. Este enfoque es ideal para cargas de trabajo complejas, trabajos de larga duración y administración de recursos detallados.
  • Serverless Spark con la tecnología de Dataproc elimina los problemas de infraestructura. Envía tus trabajos de Spark, y Google se encarga del aprovisionamiento, el escalamiento y la optimización de los recursos en segundo plano. Este enfoque sin servidores ofrece una opción fácil y rentable para las cargas de trabajo de ciencia de datos y AA.

Con ambas opciones, puedes usar Spark para el procesamiento y el análisis de datos. La elección entre los clústeres de Dataproc y Serverless Spark depende de los requisitos específicos de tu carga de trabajo, el nivel de control deseado y los patrones de uso de los recursos.

Los beneficios de usar Serverless Spark para las cargas de trabajo de ciencia de datos y AA incluyen los siguientes:

  • Sin administración de clústeres: No tienes que preocuparte por aprovisionar, configurar ni administrar clústeres de Spark. Esto te ahorra tiempo y recursos.
  • Ajuste de escala automático: Serverless Spark aumenta y disminuye automáticamente la escala según la carga de trabajo, por lo que solo pagas por los recursos que usas.
  • Alto rendimiento: Serverless Spark está optimizado para el rendimiento y aprovecha la infraestructura de Google Cloud.
  • Integración en otras tecnologías de Google Cloud: Serverless Spark se integra en otros productos de Google Cloud, como BigQuery y Dataplex.

Para obtener más información, consulta la documentación de Dataproc Serverless.

Limitaciones

Ten en cuenta las siguientes limitaciones cuando planifiques tu proyecto:

  • El complemento JupyterLab de Dataproc no admite los Controles del servicio de VPC.

Limitaciones de Dataproc

Se aplican las siguientes limitaciones de Dataproc:

  • Los trabajos de Spark se ejecutan con la identidad de la cuenta de servicio, no con la identidad del usuario que lo envía.

Antes de comenzar

  1. Sign in to your Google Cloud account. If you're new to Google Cloud, create an account to evaluate how our products perform in real-world scenarios. New customers also get $300 in free credits to run, test, and deploy workloads.

  2. In the Google Cloud console, on the project selector page, select or create a Google Cloud project.

    Go to project selector

  3. Enable the Cloud Resource Manager, Dataproc, and Notebooks APIs.

    Enable the APIs

    4.

  4. In the Google Cloud console, on the project selector page, select or create a Google Cloud project.

    Go to project selector

  5. Enable the Cloud Resource Manager, Dataproc, and Notebooks APIs.

    Enable the APIs

    6.

Roles obligatorios

Para garantizar que la cuenta de servicio tenga los permisos necesarios para ejecutar un archivo de notebook en un clúster de Dataproc Serverless o un clúster de Dataproc, pídele a tu administrador que otorgue a la cuenta de servicio los siguientes roles de IAM:

Para obtener más información sobre cómo otorgar roles, consulta Administra el acceso a proyectos, carpetas y organizaciones.

Estos roles predefinidos contienen los permisos necesarios para ejecutar un archivo de notebook en un clúster de Dataproc Serverless o un clúster de Dataproc. Para ver los permisos exactos que son necesarios, expande la sección Permisos requeridos:

Permisos necesarios

Los siguientes permisos son necesarios para ejecutar un archivo de notebook en un clúster de Dataproc Serverless o un clúster de Dataproc:

  • dataproc.agents.create
  • dataproc.agents.delete
  • dataproc.agents.get
  • dataproc.agents.update
  • dataproc.tasks.lease
  • dataproc.tasks.listInvalidatedLeases
  • dataproc.tasks.reportStatus
  • dataproc.clusters.use

Es posible que tu administrador también pueda otorgar estos permisos a la cuenta de servicio con roles personalizados o con otros roles predefinidos.

Crea una instancia con Dataproc habilitado

Para crear una instancia de Vertex AI Workbench con Dataproc habilitado, haz lo siguiente:

  1. En la consola de Google Cloud, ve a la página Instancias.

    Ir a Instancias

  2. Haz clic en  Crear nuevo.

  3. En el cuadro de diálogo Instancia nueva, haz clic en Opciones avanzadas.

  4. En el cuadro de diálogo Crear instancia, en la sección Detalles, asegúrate de que Habilitar sesiones interactivas sin servidor de Dataproc esté seleccionado.

  5. Asegúrate de que Tipo de trabajo esté configurado como Instancia.

  6. En la sección Entorno, asegúrate de usar la versión más reciente o una versión con el número M113 o superior.

  7. Haz clic en Crear.

    Vertex AI Workbench crea una instancia y la inicia de forma automática. Cuando la instancia está lista para usarse, Vertex AI Workbench activa un vínculo Abrir JupyterLab.

Abre JupyterLab

Junto al nombre de la instancia, haz clic en Abrir JupyterLab.

Se abrirá la pestaña Launcher de JupyterLab en tu navegador. De forma predeterminada, contiene secciones para Notebooks de Serverless Dataproc y Sesiones y trabajos de Dataproc. Si hay clústeres listos para Jupyter en el proyecto y la región seleccionados, aparecerá una sección llamada Dataproc Cluster Notebooks.

Usa el complemento con Dataproc Serverless para Spark

Las plantillas del entorno de ejecución de Serverless Spark que están en la misma región y el mismo proyecto que tu instancia de Vertex AI Workbench aparecen en la pestaña Launcher de JupyterLab de la sección Notebooks de Serverless Dataproc.

Para crear una plantilla de entorno de ejecución, consulta Crea una plantilla de entorno de ejecución de Dataproc Serverless.

Para abrir un nuevo notebook de Serverless Spark, haz clic en una plantilla de entorno de ejecución. El kernel de Spark remoto tarda alrededor de un minuto en iniciarse. Una vez que se inicia el kernel, puedes comenzar a programar. Para ejecutar tu código en Serverless Spark, ejecuta una celda de código en el notebook.

Usa el complemento con Dataproc en Compute Engine

Si creaste un clúster de Jupyter en Dataproc en Compute Engine, la pestaña Launcher tiene una sección Dataproc Cluster Notebooks.

Aparecerán cuatro tarjetas para cada clúster de Dataproc listo para Jupyter al que tengas acceso en esa región y proyecto.

Para cambiar la región y el proyecto, haz lo siguiente:

  1. Selecciona Configuración > Configuración de Cloud Dataproc.

  2. En la pestaña Configuración de la instalación, en Información del proyecto, cambia el ID del proyecto y la Región y, luego, haz clic en Guardar.

    Estos cambios no se aplicarán hasta que reinicies JupyterLab.

  3. Para reiniciar JupyterLab, selecciona Archivo > Cerrar y, luego, haz clic en Abrir JupyterLab en la página de instancias de Vertex AI Workbench..

Para crear un notebook nuevo, haz clic en una tarjeta. Después de que se inicia el kernel remoto en el clúster de Dataproc, puedes comenzar a escribir tu código y, luego, ejecutarlo en el clúster.

Administra Dataproc en una instancia con gcloud CLI y la API

En esta sección, se describen las formas de administrar Dataproc en una instancia de Vertex AI Workbench.

Cambia la región de tu clúster de Dataproc

Los kernels predeterminados de tu instancia de Vertex AI Workbench, como Python y TensorFlow, son kernels locales que se ejecutan en la VM de la instancia. En una instancia de Vertex AI Workbench habilitada para Dataproc, tu notebook se ejecuta en un clúster de Dataproc a través de un kernel remoto. El kernel remoto se ejecuta en un servicio fuera de la VM de tu instancia, lo que te permite acceder a cualquier clúster de Dataproc dentro del mismo proyecto.

De forma predeterminada, Vertex AI Workbench usa clústeres de Dataproc dentro de la misma región que tu instancia, pero puedes cambiar la región de Dataproc siempre que sea la puerta de enlace de componentes y el componente opcional de Jupyter está habilitado en el clúster de Dataproc.

  • Para cambiar la región de la VM de tu instancia, usa el siguiente comando:

    gcloud config set compute/region REGION

    Reemplaza REGION por la región que desees, por ejemplo, us-east4.

  • Para cambiar la región de tu clúster de Dataproc, usa el siguiente comando:

    gcloud config set dataproc/region REGION

    Reemplaza REGION por la región que desees, por ejemplo, us-east4.

Pruebe el acceso

El complemento JupyterLab de Dataproc está habilitado de forma predeterminada para las instancias de Vertex AI Workbench. Para probar el acceso a Dataproc, puedes verificar el acceso a los kernels remotos de tu instancia. Para ello, envía la siguiente solicitud curl al dominio kernels.googleusercontent.com:

curl --verbose -H "Authorization: Bearer $(gcloud auth print-access-token)" https://PROJECT_ID-dot-REGION.kernels.googleusercontent.com/api/kernelspecs | jq .

Si el comando curl falla, asegúrate de que se cumplan las siguientes condiciones:

  1. Tus entradas de DNS están configuradas correctamente.

  2. Hay un clúster disponible en el mismo proyecto (o deberás crear uno si no existe).

  3. Tu clúster tiene habilitadas la puerta de enlace de componentes y el componente opcional de Jupyter.

Desactiva Dataproc

Las instancias de Vertex AI Workbench se crean con Dataproc habilitado de forma predeterminada. Puedes crear una instancia de Vertex AI Workbench con Dataproc desactivado si configuras la clave disable-mixer metadata como true.

gcloud workbench instances create INSTANCE_NAME --metadata=disable-mixer=true

Habilitar Dataproc

Puedes habilitar Dataproc en una instancia de Vertex AI Workbench detenida a través de la actualización del valor de metadatos.

gcloud workbench instances update INSTANCE_NAME --metadata=disable-mixer=false

Administra Dataproc con Terraform

Dataproc para las instancias de Vertex AI Workbench en Terraform se administra a través de la clave disable-mixer en el campo de metadatos. Para activar Dataproc, configura la clave disable-mixer metadata como false. Para desactivar Dataproc, configura la clave de metadatos disable-mixer como true.

Si deseas obtener más información para aplicar o quitar una configuración de Terraform, consulta los comandos básicos de Terraform.

resource "google_workbench_instance" "default" {
  name     = "workbench-instance-example"
  location = "us-central1-a"

  gce_setup {
    machine_type = "n1-standard-1"
    vm_image {
      project = "cloud-notebooks-managed"
      family  = "workbench-instances"
    }
    metadata = {
      disable-mixer = "false"
    }
  }
}

Solucionar problemas

A fin de diagnosticar y resolver problemas relacionados con la creación de una instancia habilitada para Dataproc, consulta Solución de problemas de Vertex AI Workbench.

¿Qué sigue?