Actualizar un servicio de Dataproc Metastore

En esta página se explica cómo actualizar un servicio de Dataproc Metastore.

Puedes actualizar tu servicio Dataproc Metastore para cambiar los ajustes de configuración o habilitar o inhabilitar funciones opcionales.

Antes de empezar

Roles obligatorios

Para obtener el permiso que necesitas para actualizar un servicio de Dataproc Metastore, pide a tu administrador que te conceda los siguientes roles de gestión de identidades y accesos en tu proyecto, según el principio de privilegio mínimo:

Para obtener más información sobre cómo conceder roles, consulta el artículo Gestionar el acceso a proyectos, carpetas y organizaciones.

Este rol predefinido contiene el permiso metastore.services.update , que es necesario para actualizar un servicio de Dataproc Metastore.

También puedes obtener este permiso con roles personalizados u otros roles predefinidos.

Para obtener más información sobre roles y permisos específicos de Dataproc Metastore, consulta la información general sobre la gestión de identidades y accesos de Dataproc Metastore.

Información sobre cómo actualizar un servicio

Puede actualizar los siguientes parámetros de Dataproc Metastore.

  • Número de puerto. Actualiza el número de puerto TCP de la interfaz de Apache Thrift.
  • Nivel de servicio. Cambia entre el nivel de servicio Desarrollador y el nivel de servicio Enterprise. Estos niveles influyen en la capacidad del servicio.
  • Sincronización de Data Catalog. Activa o desactiva la función de sincronización del catálogo de datos.
  • Ventana de mantenimiento. Cambia la frecuencia de la ventana de mantenimiento, incluidos el día de la semana y la hora del día.
  • Kerberos. Habilita o inhabilita la autenticación Kerberos. Si ya lo has habilitado, puedes actualizar tus archivos de configuración de Kerberos.
  • Configuraciones del metastore de Hive. Actualiza la ubicación del directorio de almacén de Hive.
  • Configuración de la versión auxiliar (Vista previa). Habilita, inhabilita o añade versiones auxiliares adicionales.
  • Etiquetas Añade o quita etiquetas opcionales que describan tus metadatos.
  • Factor de escala. Cambia el factor de escala. Puede habilitar o inhabilitar el autoescalado y actualizar los factores de escalado mínimo o máximo.

Actualizar un servicio

Antes de ejecutar una actualización, ten en cuenta lo siguiente:

  • Solo puedes ejecutar un trabajo de actualización a la vez (por cada servicio de Dataproc Metastore).
  • Puede actualizar varios parámetros en un solo trabajo de actualización.
  • Puedes seguir usando Dataproc Metastore mientras se actualiza.

Si la actualización se realiza correctamente, Dataproc Metastore pasará automáticamente al estado activo. Si la actualización falla, el servicio Dataproc Metastore vuelve a su estado correcto anterior.

En las siguientes instrucciones se muestra cómo actualizar un servicio de Dataproc Metastore.

Consola

  1. En la Google Cloud consola, abre la página Dataproc Metastore:

    Abrir Dataproc Metastore

  2. En la página Dataproc Metastore, haga clic en el nombre del servicio que quiera actualizar.

    Se abrirá la página Detalles del servicio.

    Página de detalles del servicio
    Página de detalles del servicio Dataproc Metastore

  3. En la pestaña Configuración, haz clic en Editar.

    Se abrirá la página Editar servicio.

  4. Elige los valores que quieras actualizar para tu servicio.

  5. Haz clic en Enviar.

    Vuelve a la página Dataproc Metastore y comprueba que el servicio se ha actualizado correctamente.

CLI de gcloud

  1. Para actualizar un servicio, ejecuta el siguiente comando gcloud metastore services update:

    gcloud metastore services update SERVICE \
    --location=LOCATION \
    --port=PORT \
    --tier=TIER \
    --maintenance-window-day=MAINTENANCE_WINDOW_DAY \
    --maintenance-window-hour=MAINTENANCE_WINDOW_HOUR \
    --kerberos_principal=KERBEROS_PRINCIPAL \
    --keytab=KEYTAB \
    --krb5-config=KRB5_CONFIG \
    --update-hive-metastore-configs-from-file=[KEY=VALUE, ...] \
    --clear-hive-metastore-configs \
    --remove-hive-metastore-configs=[KEY, ...] \
    --update-labels=[KEY=VALUE, ...] \
    --clear-labels \
    --remove-labels=[KEY, ...]

    Haz los cambios siguientes:

    • SERVICE: el nombre de tu servicio Dataproc Metastore.
    • LOCATION: la Google Cloud región en la que se encuentra tu servicio de Dataproc Metastore.
    • PORT: opcional. Puerto TCP de la interfaz Thrift que usas con tu servicio Dataproc Metastore.
    • TIER: opcional. Capacidad del nivel de tu servicio Dataproc Metastore.
    • MAINTENANCE_WINDOW_DAY: opcional. Día de la semana en el que empieza el periodo de servicio.
    • MAINTENANCE_WINDOW_HOUR: opcional. Hora del día en la que empieza el periodo de servicio.
    • KERBEROS_PRINCIPAL: opcional. Un principal de Kerberos que existe tanto en el archivo keytab como en el KDC. Un principal típico tiene el formato "primary/instance@REALM", pero no hay un formato exacto.
    • KEYTAB: opcional. Archivo keytab de Kerberos que se usa para autenticar un nombre principal de servicio con un centro de distribución de claves de Kerberos.
    • KRB5_CONFIG: opcional. El archivo krb5.config especifica el KDC y la información del dominio de Kerberos, que incluye las ubicaciones de los KDCs y los valores predeterminados del dominio y las aplicaciones de Kerberos.
    • [KEY, ...]: opcional. Configuraciones de metastore de Hive que quieras actualizar. Si hay una variable en este campo, su valor se actualiza. De lo contrario, se creará una nueva variable. Si se define esta marca, -clear-hive-metastore-configs también se definirá automáticamente.
    • [KEY, ...]: opcional. Configuraciones de metastore de Hive que quieras quitar.
    • [KEY=VALUE, ...]: opcional. Las etiquetas o las configuraciones de pares clave-valor del metastore de Hive que quieras actualizar.
    • [KEY, ...]: Opcional: las etiquetas o las configuraciones de pares clave-valor de Hive metastore que quieras quitar.

  2. Verifica que la actualización se haya realizado correctamente.

REST

Sigue las instrucciones de la API para actualizar un servicio con el Explorador de APIs.

Actualizar la configuración del almacén de metadatos de Hive

Si el directorio de almacén de Hive está en Cloud Storage, debes definir una anulación de configuración de Metastore. Esta anulación define tu almacén de datos específico como el directorio de almacén predeterminado de Dataproc Metastore.

Antes de definir esta anulación, asegúrate de que tu servicio Dataproc Metastore tenga permisos de lectura y escritura de objetos para acceder al directorio del almacén. Para obtener más información, consulta el artículo Directorio del almacén de Hive.

En las siguientes instrucciones se muestra cómo actualizar una anulación de configuración de Hive Metastore.

Consola

  1. En la Google Cloud consola, abre la página Dataproc Metastore:

    Abrir Dataproc Metastore

  2. En la página Dataproc Metastore, haga clic en el nombre del servicio que quiera actualizar.

    Se abrirá la página Detalles del servicio.

  3. En la pestaña Configuración, haz clic en Editar.

    Se abrirá la página Editar servicio.

  4. En Metastore config overrides (Sustituciones de configuración de metastore), introduce lo siguiente:

    • Clave: introduce el siguiente valor: hive.metastore.warehouse.dir.
    • Valor: la ubicación de Cloud Storage del directorio de tu almacén. Por ejemplo: gs://my-bucket/path/to/location.

  5. Haz clic en Enviar.

    Vuelve a la página Dataproc Metastore y comprueba que el servicio se ha actualizado correctamente.

gcloud

  1. Para actualizar un servicio, ejecuta el siguiente comando gcloud metastore services update:

    gcloud metastore services update SERVICE \
    --location=LOCATION \
    --update-hive-metastore-configs="hive.metastore.warehouse.dir=CUSTOMER_DIR"

    Haz los cambios siguientes:

    • SERVICE: el nombre de tu servicio Dataproc Metastore.
    • LOCATION: la Google Cloud región en la que se encuentra tu servicio de Dataproc Metastore.
    • CUSTOMER_DIR: la ubicación de Cloud Storage del directorio de tu almacén. Por ejemplo: gs://my-bucket/path/to/location

  2. Verifica que la actualización se haya realizado correctamente.

Siguientes pasos