Descripción general de Dataproc Serverless

Dataproc Serverless te permite ejecutar cargas de trabajo de Spark sin necesidad de aprovisionar ni administrar tu propio clúster de Dataproc. Existen dos maneras de ejecutar cargas de trabajo de Dataproc Serverless:

Cargas de trabajo por lotes de Dataproc Serverless

Envía una carga de trabajo por lotes al servicio de Dataproc sin servidores con la consola deGoogle Cloud , Google Cloud CLI o la API de Dataproc. El servicio ejecuta la carga de trabajo en una infraestructura de procesamiento administrada y ajusta los recursos de forma automática según sea necesario. Los cargos de Dataproc Serverless se aplican solo al momento en que se ejecuta la carga de trabajo.

Para comenzar, consulta Cómo ejecutar una carga de trabajo por lotes de Apache Spark.

Sesiones interactivas sin servidores de Dataproc

Escribe y ejecuta código en notebooks de Jupyter durante una sesión interactiva de Dataproc Serverless para Spark. Puedes crear una sesión de notebook de las siguientes maneras:

  • Ejecuta código de PySpark en notebooks de BigQuery Studio. Usa el notebook de Python de BigQuery para crear una sesión interactiva de Dataproc Serverless basada en Spark-Connect. Cada notebook de BigQuery puede tener solo una sesión activa de Dataproc Serverless asociada con él.

  • Usa el complemento de JupyterLab de Dataproc para crear varias sesiones de notebooks de Jupyter a partir de plantillas que crees y administres. Cuando instalas el complemento en una máquina local o una VM de Compute Engine, aparecen diferentes tarjetas que corresponden a diferentes configuraciones del kernel de Spark en la página del selector de JupyterLab. Haz clic en una tarjeta para crear una sesión de notebook de Dataproc Serverless y, luego, comienza a escribir y probar tu código en el notebook.

    El complemento JupyterLab de Dataproc también te permite usar la página del selector de JupyterLab para realizar las siguientes acciones:

    • Crea clústeres de Dataproc en Compute Engine.
    • Envía trabajos a Dataproc en clústeres de Compute Engine.
    • Consulta los registros Google Cloud y de Spark.

Comparación entre Dataproc Serverless y Dataproc en Compute Engine

Si deseas aprovisionar y administrar la infraestructura y, luego, ejecutar cargas de trabajo en Spark y otros frameworks de procesamiento de código abierto, usa Dataproc en Compute Engine. En la siguiente tabla, se enumeran las diferencias clave entre Dataproc en Compute Engine y Dataproc sin servidor.

Función Dataproc sin servidores Dataproc en Compute Engine
Frameworks de procesamiento Cargas de trabajo por lotes: Spark 3.5 y versiones anteriores
Sesiones interactivas: Spark 3.5 y versiones anteriores		 Spark 3.5 y versiones anteriores Otros frameworks de código abierto, como Hive, Flink, Trino y Kafka
Sin servidores Sí No
Hora de inicio 60 s años 90
Control de la infraestructura No Sí
Administración de recursos Basado en Spark Basado en YARN
Asistencia de GPU Yes Sí
Sesiones interactivas Sí No
Contenedores personalizados Yes No
Acceso a la VM (por ejemplo, SSH) No Sí
Versiones de Java Java 17 y 11 Versiones anteriores compatibles
OS Login compatibilidad * No Sí

Notas:

  • Una política de Acceso al SO no se aplica a Dataproc Serverless ni es compatible con esta. Si tu organización aplica una política de OS Login, fallarán sus cargas de trabajo de Dataproc Serverless.

Cumplimiento de seguridad de Dataproc Serverless

Dataproc Serverless cumple con todos los requisitos de residencia de datos, CMEK, VPC-SC y otros requisitos de seguridad que cumple Dataproc.

Funciones de la carga de trabajo por lotes de Dataproc Serverless

Puedes ejecutar los siguientes tipos de cargas de trabajo por lotes de Dataproc Serverless:

  • PySpark
  • Spark SQL
  • Spark R
  • Spark (Java o Scala)

Puedes especificar propiedades de Spark cuando envías una carga de trabajo por lotes de Dataproc sin servidores.