Versiones auxiliares

En esta página, se explica cómo usar la función de versiones auxiliares con Dataproc Metastore.

Las versiones auxiliares permiten conectar dos versiones diferentes de un almacén de metadatos de Hive un único servicio de Dataproc Metastore. Esta configuración te permite admitir varios motores de procesamiento de datos que deben ejecutarse en diferentes almacenes de metadatos de Hive versiones.

Por ejemplo, con las versiones auxiliares, puedes conectar múltiples clústeres de Dataproc al mismo servicio de Dataproc Metastore. En esta configuración, un clúster puede ejecutar la versión 2.0 de Dataproc mientras que mientras que el otro ejecuta la versión 1.5 de Dataproc. El clúster de Dataproc 2.0 puede conectarse a un extremo que exponga la versión 3.1.2 de Hive, mientras que el El clúster de Dataproc 1.5 se conecta a un extremo que expone la versión de Hive 2.3.6.

Cómo funcionan las versiones auxiliares

Cuando habilitas las versiones auxiliares, Dataproc Metastore expone un extremo separado para cada versión del almacén de metadatos de Hive. Sin embargo, tanto y extremos comparten la misma base de datos de metadatos.

Esta función no te permite usar diferentes conjuntos de con un único servicio de Dataproc Metastore. Por el contrario, ofrece un para extender y mejorar la compatibilidad entre sus servicios.

Consideraciones

General

• Solo puedes crear una versión auxiliar para cada Servicio de Dataproc Metastore.

• La versión auxiliar se debe configurar para usar una versión inferior del metastore de Hive que la versión principal.

• La versión auxiliar mantiene un archivo de registro independiente del archivo principal. versión. Para depurar problemas del almacén de metadatos de Hive, puedes usar Cloud Logging.

Compatibilidad de características

• La versión auxiliar no admite las siguientes funciones:

  • Importar metadatos, Exportar metadatos

  • Cómo crear una copia de seguridad desde un almacén de metadatos Restablece un almacén de metadatos a partir de un copia de seguridad

    Las funciones relacionadas con metadatos (importación/exportación/copia de seguridad/restablecimiento) solo se pueden usarse con la versión principal, ya que los metadatos del backend entre versiones compartidas.

• Es posible que algunos métodos de Hive no sean compatibles entre el modelo auxiliar y versión principal. Esta compatibilidad depende de las versiones de Hive usando para tus versiones primarias y auxiliares y los métodos que se compatibles entre las versiones de Hive.

• No todas las funciones de una instancia principal de Dataproc Metastore compatibles con la versión auxiliar. Por ejemplo, insertar registros en un La tabla transaccional de Hive no es compatible con las interfaces de clientes de Hive 2 con una versión auxiliar 2.3.6. Sin embargo, esta operación se admite con un Interfaz del cliente de Hive 3 con la versión principal 3.1.2

  Si una función de una versión de Hive anterior deja de estar disponible en una versión superior de Hive, la versión auxiliar anterior correspondiente no admitirá el modelo . Por ejemplo, Hive 2 admite índices, pero un la versión auxiliar que ejecuta Hive 2.3.6 no admitirá el índice si la versión ejecuta Hive 3.1.2.

• Se evita la creación de tablas transaccionales con la versión auxiliar o la inserción de datos en tablas transaccionales en la versión auxiliar.

Propiedades compartidas entre versiones

Cuando creas una versión auxiliar, algunas propiedades se comparten y siguen siendo comunes entre la versión auxiliar y la principal versión. Las demás propiedades no se comparten y son independientes entre ambas versiones.

En la siguiente tabla, se enumeran estas diferencias.

* Las anulaciones de configuración de Hive permanecen separadas entre las y la versión principal. Sin embargo, la versión auxiliar hace referencia a una lista combinada. de las anulaciones (primaria y auxiliar). En este caso, la configuración auxiliar tiene prioridad sobre la configuración principal.

Antes de comenzar

• Habilitar Dataproc Metastore

Funciones requeridas

Para obtener el permiso que necesitas para crear un metastore de Dataproc que use versiones auxiliares, pídele a tu administrador que te otorgue los siguientes roles de IAM en tu proyecto, según el principio de privilegio mínimo:

• Otorga control total a los recursos de Dataproc Metastore (roles/metastore.editor)
• Otorgar acceso completo a todos los recursos de Dataproc Metastore, incluida la administración de políticas de IAM (roles/metastore.admin)

Para obtener más información sobre cómo otorgar roles, consulta Administra el acceso a proyectos, carpetas y organizaciones.

Este rol predefinido contiene las metastore.services.create permiso, que se requiere para crear un Dataproc Metastore que use versiones auxiliares

Es posible que también puedas obtener este permiso con roles personalizados otros roles predefinidos.

Crea una versión auxiliar para un servicio nuevo

En el siguiente ejemplo, se muestra una versión abreviada de los pasos que sigues para habilitar versiones auxiliares. Para obtener instrucciones completas paso a paso sobre todo el proceso que debes seguir, consulta Cómo crear un Dataproc Metastore.

curl -X POST -s -i \
     -H "Authorization: Bearer $(gcloud auth print-access-token)" \
     -d '{"network":"projects/PROJECT_ID/global/networks/default", "port": 9083, "hive_metastore_config": {"auxiliary_versions": {"aux-version1": {"version": "AUX_VERSION"} } } }' \
     -H "Content-Type:application/json" \
     https://metastore.googleapis.com/v1/projects/PROJECT_ID/locations/LOCATION/services?service_id=SERVICE_ID

Cómo actualizar una versión auxiliar de un servicio existente

En las siguientes instrucciones, se muestra cómo actualizar un Servicio de Dataproc Metastore que usa versiones auxiliares.

Cuando ejecutas una operación de actualización, puedes completar las siguientes tareas:

• Agregar una nueva versión auxiliar
• Borra una versión auxiliar existente.

• Agrega o modifica anulaciones de una versión auxiliar existente.

curl -X PATCH -s -i \
   -H "Authorization: Bearer $(gcloud auth print-access-token)" \
   -d '{"hive_metastore_config": {"auxiliary_versions": {"aux-version1": {"version": "AUX_VERSION} } } }' \
   -H "Content-Type:application/json" \
   https://metastore.googleapis.com/v1/projects/PROJECT_ID/locations/LOCATION/services/SERVICE_ID?update_mask=hive_metastore_config.auxiliary_versions

¿Qué sigue?

• Creación de servicio
• Actualiza y borra un servicio