Configura un servicio de Dataproc Metastore multirregional

Console

1. En la consola de Google Cloud, ve a Dataproc Metastore. .

   Ir a Dataproc Metastore

2. En la barra de navegación, haz clic en +Crear.

   Se abrirá el diálogo Crear servicio de Metastore.

3. Selecciona Dataproc Metastore 2.

4. En la sección Precios y capacidad, selecciona Enterprise Plus - Dual region

5. Para el Protocolo de extremo, selecciona gRPC.

6. Para crear y, luego, iniciar el servicio, haz clic en Enviar.

   Tu nuevo servicio de metastore aparecerá en la página Dataproc Metastore. El estado mostrará Creando hasta que el servicio esté listo para usarse. Cuando esté lista, el estado cambiará a Activa. Es posible que el aprovisionamiento del servicio tarde unos minutos.

gcloud CLI

Para crear un servicio multirregional de Dataproc Metastore, ejecuta el siguiente comando gcloud metastore services create. Este comando crea la versión 3.1.2 de Dataproc Metastore.

gcloud metastore services create SERVICE \
  --location=MULTI_REGION \
{ --instance-size=INSTANCE_SIZE | --scaling-factor=SCALING_FACTOR } \
  --endpoint-protocol=grpc

Reemplaza lo siguiente:

• SERVICE: Es el nombre de tu Servicio de Dataproc Metastore.
• MULTI_REGION: Es la multirregión que estás creando tu servicio de Dataproc Metastore.
• INSTANCE_SIZE: Es el tamaño de la instancia. de tu instancia de Dataproc Metastore multirregional. Por ejemplo, small, medium o large. Si especificas un valor para INSTANCE_SIZE, no especifica un valor para SCALING_FACTOR.
• SCALING_FACTOR: Es el factor de escala. de tu servicio de Dataproc Metastore. Por ejemplo, 0.1. Si especificas un valor para SCALING_FACTOR, no especifiques un valor para INSTANCE_SIZE

Console

1. En la consola de Google Cloud, ve a Dataproc Metastore. .

   Ir a Dataproc Metastore

2. En la barra de navegación, haz clic en +Crear.

   Se abrirá el diálogo Crear servicio de Metastore.

3. Selecciona Dataproc Metastore 2.

4. En la sección Precios y capacidad, selecciona Enterprise Plus - Dual region

   Para obtener más información, consulta Planes de precios y parámetros de configuración de escalamiento.

5. En el campo Nombre del servicio, ingresa un nombre único para tu servicio.

   Para obtener información sobre las convenciones de nombres, consulta Convenciones de nomenclatura de recursos.

6. Para el Protocolo de extremo, selecciona Thrift.

7. En Configuración de red, proporciona las subredes que forman la configuración multirregional que elegiste.

8. Para las opciones de configuración del servicio restantes, usa los valores predeterminados proporcionados.

9. Para crear y, luego, iniciar el servicio, haz clic en Enviar.

   Tu nuevo servicio de metastore aparecerá en la página Dataproc Metastore. El estado mostrará Creando hasta que el servicio esté listo para usarse. Cuando esté lista, el estado cambiará a Activa. Es posible que el aprovisionamiento del servicio tarde unos minutos.

gcloud CLI

Para crear un servicio multirregional de Dataproc Metastore, haz lo siguiente: Ejecuta el siguiente comando gcloud metastore services create. Este comando crea la versión 3.1.2 de Dataproc Metastore.

gcloud metastore services create SERVICE \
  --location=MULTI_REGION \
  --consumer-subnetworks="projects/PROJECT_ID/regions/LOCATION1/subnetworks/SUBNET1,projects/PROJECT_ID/regions/LOCATION2/subnetworks/SUBNET2" \
{ --instance-size=INSTANCE_SIZE | --scaling-factor=SCALING_FACTOR } \
  --endpoint-protocol=thrift

O puedes almacenar la configuración de red en un archivo, como se muestra en siguiente comando.

gcloud metastore services create SERVICE \
  --location=MULTI_REGION \
  --network-config-from-file=NETWORK_CONFIG_FROM_FILE
{ --instance-size=INSTANCE_SIZE | --scaling-factor=SCALING_FACTOR } \
  --endpoint-protocol=thrift

Reemplaza lo siguiente:

• SERVICE: Es el nombre de tu Servicio de Dataproc Metastore.
• MULTI_REGION: Es la multirregión que estás creando tu servicio de Dataproc Metastore.
• PROJECT_ID: Es el ID del proyecto de Google Cloud que estás creando tu servicio de Dataproc Metastore.
• SUBNET1,SUBNET2: una lista de y subredes que forman una configuración multirregional. Puedes usar el ID, la URL completamente calificada o el nombre relativo de la subred. Puedes especificar hasta seis subredes.
• LOCATION1,LOCATION2: una lista de ubicaciones que forman una configuración multirregional. Puedes usar el ID de la ubicación. Por ejemplo, para una multirregión nam7, usas us-central1 y us-east4.
• NETWORK_CONFIG_FROM_FILE: Es la ruta a un Archivo YAML que contiene la configuración de red.
• INSTANCE_SIZE: Es el tamaño de la instancia. de tu instancia de Dataproc Metastore multirregional. Por ejemplo, small, medium o large. Si especificas un valor para INSTANCE_SIZE, no especifica un valor para SCALING_FACTOR.
• SCALING_FACTOR: Es el factor de escala. de tu servicio de Dataproc Metastore. Por ejemplo, 0.1. Si especificas un valor para SCALING_FACTOR, no especifiques un valor para INSTANCE_SIZE

REST

Aprende a crear un Dataproc Metastore multirregional sigue las instrucciones para crear un servicio con el Explorador de APIs de Google.

Para configurar un servicio multirregional, proporciona la siguiente información en los objetos Network Config

  "network_config": {
    "consumers": [
        {"subnetwork": "projects/PROJECT_ID/regions/LOCATION/subnetworks/SUBNET1"},
        {"subnetwork": "projects/PROJECT_ID/regions/LOCATION/subnetworks/SUBNET2"}
    ],
    "scaling_config": {
    "scaling_factor": SCALING_FACTOR
    }
  }

Reemplaza lo siguiente:

• PROJECT_ID: Es el ID del proyecto de Google Cloud. del proyecto que contiene tu servicio de Dataproc Metastore.
• LOCATION: Es la región de Google Cloud a la que donde reside el servicio de Dataproc Metastore.
• SUBNET1,SUBNET2: una lista de subredes que forman una configuración multirregional. Puedes usar la ID, URL completamente calificada o nombre relativo de la subred. Puedes especificar hasta cinco subredes.
• SCALING_FACTOR: Es el factor de escala. que quieres usar para el servicio.

Dataproc Metastore 3.1.2

1. Crea las siguientes variables para tu clúster de Dataproc:

   CLUSTER_NAME=CLUSTER_NAME
   PROJECT_ID=PROJECT_ID
   MULTI_REGION=MULTI_REGION
   DATAPROC_IMAGE_VERSION=DATAPROC_IMAGE_VERSION
   PROJECT=PROJECT
   SERVICE_ID=SERVICE_ID

   Reemplaza lo siguiente:

   • CLUSTER_NAME: Es el nombre de tu Dataproc. clúster.
   • PROJECT_ID: Es el proyecto de Google Cloud que contiene tu clúster de Dataproc. Asegúrate de que la subred a la que estás que usa tiene los permisos adecuados para acceder a este proyecto.
   • MULTI_REGION: Es la multirregión de Google Cloud que en las que quieres crear tu clúster de Dataproc.
   • DATAPROC_IMAGE_VERSION: Es la imagen de Dataproc. de la versión que usas con Dataproc Metastore servicio. Debes usar una versión de imagen de 2.0 o posterior.
   • PROJECT: Es el proyecto que contiene tu Servicio de Dataproc Metastore.
   • SERVICE_ID: Es el ID del servicio de tu Servicio de Dataproc Metastore.

2. Para crear tu clúster, ejecuta el siguiente comando gcloud dataproc clusters create: kubectl. --enable-kerberos es opcional. Incluye esta opción solo si estás usando kerberos con tu clúster.

   gcloud dataproc clusters create ${CLUSTER_NAME} \
    --project ${PROJECT_ID} \
    --region ${MULTI_REGION} \
    --image-version ${DATAPROC_IMAGE_VERSION} \
    --scopes "https://www.googleapis.com/auth/cloud-platform" \
    --dataproc-metastore projects/${PROJECT}/locations/${MULTI_REGION}/services/${SERVICE_ID} \
   [ --enable-kerberos ]

Dataproc Metastore 2.3.6

1. Crea las siguientes variables para tu servicio de Dataproc Metastore:

   METASTORE_PROJECT=METASTORE_PROJECT
   METASTORE_ID=METASTORE_ID
   MULTI_REGION=MULTI_REGION
   SUBNET=SUBNET

   Reemplaza lo siguiente:

   • METASTORE_PROJECT: Es el proyecto de Google Cloud. que contiene tu servicio de Dataproc Metastore.
   • METASTORE_ID: Es el ID del servicio de tu Servicio de Dataproc Metastore.
   • MULTI_REGION: Es la ubicación multirregional que que quieres usar para tu servicio de Dataproc Metastore.
   • SUBNET: Es una de las subredes que estás usando. para tu servicio de Dataproc Metastore. O cualquier subred de la superior de las subredes que se usa para tu servicio.

2. Crea las siguientes variables para tu clúster de Dataproc:

   CLUSTER_NAME=CLUSTER_NAME
   DATAPROC_PROJECT=DATAPROC_PROJECT
   DATAPROC_REGION=DATAPROC_REGION
   HIVE_VERSION=HIVE_VERSION
   IMAGE_VERSION=r>IMAGE_VERSION

   Reemplaza lo siguiente:

   • CLUSTER_NAME: Es el nombre de tu Dataproc. clúster.
   • DATAPROC_PROJECT: Es el proyecto de Google Cloud que contiene tu clúster de Dataproc. Asegúrate de que la subred a la que estás que usa tiene los permisos adecuados para acceder a este proyecto.
   • DATAPROC_REGION: Es la región de Google Cloud que en las que quieres crear tu clúster de Dataproc.
   • HIVE_VERSION: Es la versión de Hive que usa el servicio Dataproc Metastore.
   • IMAGE_VERSION: Es la imagen de Dataproc. que usas con tu servicio de Dataproc Metastore.
     • En la versión 2.0 de Hive Metastore, usa la versión de imagen 1.5.
     • Para la versión 3.1.2 de Hive Metastore, usa la versión de imagen 2.0.

3. Recupera el directorio del almacén de tu servicio de Dataproc Metastore y almacenarlos en una variable.

   WAREHOUSE_DIR=$(gcloud metastore services describe "${METASTORE_ID}" --project "${METASTORE_PROJECT}" --location "${MULTI_REGION}" --format="get(hiveMetastoreConfig.configOverrides[hive.metastore.warehouse.dir])")

4. Crear un clúster de Dataproc configurado con una red multirregional Dataproc Metastore.

   gcloud dataproc clusters create ${CLUSTER_NAME} \
       --project "${DATAPROC_PROJECT}" \
       --region ${DATAPROC_REGION} \
       --scopes "https://www.googleapis.com/auth/cloud-platform" \
       --subnet "${SUBNET}" \
       --optional-components=DOCKER \
       --image-version ${IMAGE_VERSION} \
       --metadata "hive-version=${HIVE_VERSION},dpms-name=${DPMS_NAME}" \
       --properties "hive:hive.metastore.uris=thrift://localhost:9083,hive:hive.metastore.warehouse.dir=${WAREHOUSE_DIR}" \
       --initialization-actions gs://metastore-init-actions/mr-metastore-grpc-proxy/metastore-grpc-proxy.sh