Configurar un servicio de Dataproc Metastore multirregional

Consola

1. En la Google Cloud consola, ve a la página Dataproc Metastore.

   Ir a Dataproc Metastore

2. En la barra de navegación, haz clic en + Crear.

   Se abrirá el cuadro de diálogo Crear servicio de metastore.

3. Selecciona Dataproc Metastore 2.

4. En la sección Precios y capacidad, selecciona Enterprise Plus - Dual region (Enterprise Plus - Doble región).

5. En Protocolo de endpoint, selecciona gRPC.

6. Para crear e iniciar el servicio, haz clic en Enviar.

   El nuevo servicio de metastore aparece en la página Dataproc Metastore. El estado muestra Creando hasta que el servicio esté listo para usarse. Cuando esté listo, el estado cambiará a Activo. El aprovisionamiento del servicio puede tardar unos minutos.

CLI de gcloud

Para crear un servicio multirregional de Dataproc Metastore, ejecuta el siguiente comando gcloud metastore services create. Este comando crea la versión 3.1.2 de Dataproc Metastore.

gcloud metastore services create SERVICE \
  --location=MULTI_REGION \
{ --instance-size=INSTANCE_SIZE | --scaling-factor=SCALING_FACTOR } \
  --endpoint-protocol=grpc

Haz los cambios siguientes:

• SERVICE: el nombre de tu servicio de Dataproc Metastore.
• MULTI_REGION: la multirregión en la que vas a crear tu servicio de Dataproc Metastore.
• INSTANCE_SIZE: el tamaño de la instancia de tu almacén de metadatos multirregional de Dataproc. Por ejemplo, small, medium o large. Si especificas un valor para INSTANCE_SIZE, no especifiques un valor para SCALING_FACTOR.
• SCALING_FACTOR: el factor de escalado de tu servicio Dataproc Metastore. Por ejemplo, 0.1. Si especifica un valor para SCALING_FACTOR, no especifique ningún valor para INSTANCE_SIZE.

Consola

1. En la Google Cloud consola, ve a la página Dataproc Metastore.

   Ir a Dataproc Metastore

2. En la barra de navegación, haz clic en + Crear.

   Se abrirá el cuadro de diálogo Crear servicio de metastore.

3. Selecciona Dataproc Metastore 2.

4. En la sección Precios y capacidad, selecciona Enterprise Plus - Dual region (Enterprise Plus - Dos regiones).

   Para obtener más información, consulta los planes de precios y las configuraciones de escalado.

5. En el campo Nombre del servicio, introduce un nombre único para tu servicio.

   Para obtener información sobre las convenciones de nomenclatura, consulta el artículo Convención de nomenclatura de recursos.

6. En Protocolo de endpoint, selecciona Thrift.

7. En Network Config (Configuración de red), proporcione las subredes que forman la configuración multirregional que ha elegido.

8. En el resto de las opciones de configuración del servicio, usa los valores predeterminados.

9. Para crear e iniciar el servicio, haz clic en Enviar.

   El nuevo servicio de metastore aparece en la página Dataproc Metastore. El estado muestra Creando hasta que el servicio esté listo para usarse. Cuando esté listo, el estado cambiará a Activo. El aprovisionamiento del servicio puede tardar unos minutos.

CLI de gcloud

Para crear un servicio multirregional de Dataproc Metastore, ejecuta el siguiente comando gcloud metastore services create. Este comando crea la versión 3.1.2 de Dataproc Metastore.

gcloud metastore services create SERVICE \
  --location=MULTI_REGION \
  --consumer-subnetworks="projects/PROJECT_ID/regions/LOCATION1/subnetworks/SUBNET1,projects/PROJECT_ID/regions/LOCATION2/subnetworks/SUBNET2" \
{ --instance-size=INSTANCE_SIZE | --scaling-factor=SCALING_FACTOR } \
  --endpoint-protocol=thrift

También puedes almacenar la configuración de tu red en un archivo, como se muestra en el siguiente comando.

gcloud metastore services create SERVICE \
  --location=MULTI_REGION \
  --network-config-from-file=NETWORK_CONFIG_FROM_FILE
{ --instance-size=INSTANCE_SIZE | --scaling-factor=SCALING_FACTOR } \
  --endpoint-protocol=thrift

Haz los cambios siguientes:

• SERVICE: el nombre de tu servicio de Dataproc Metastore.
• MULTI_REGION: la multirregión en la que vas a crear el servicio Dataproc Metastore.
• PROJECT_ID: el ID del proyecto Google Cloud en el que vas a crear el servicio Dataproc Metastore.
• SUBNET1SUBNET2: lista de subredes que forman una configuración multirregional. Puede usar el ID, la URL completa o el nombre relativo de la subred. Puedes especificar hasta seis subredes.
• LOCATION1,LOCATION2: una lista de ubicaciones que forman una configuración multirregional. Puedes usar el ID de la ubicación. Por ejemplo, en una multirregión nam7, se usan us-central1 y us-east4.
• NETWORK_CONFIG_FROM_FILE: la ruta a un archivo YAML que contiene la configuración de red.
• INSTANCE_SIZE: el tamaño de la instancia de tu almacén de metadatos multirregional de Dataproc. Por ejemplo, small, medium o large. Si especificas un valor para INSTANCE_SIZE, no especifiques un valor para SCALING_FACTOR.
• SCALING_FACTOR: el factor de escalado de tu servicio Dataproc Metastore. Por ejemplo, 0.1. Si especifica un valor para SCALING_FACTOR, no especifique ningún valor para INSTANCE_SIZE.

REST

Para saber cómo crear un servicio de Dataproc Metastore multirregional, sigue las instrucciones para crear un servicio con el explorador de APIs de Google.

Para configurar un servicio multirregional, proporcione la siguiente información en los objetos Network Config.

  "network_config": {
    "consumers": [
        {"subnetwork": "projects/PROJECT_ID/regions/LOCATION/subnetworks/SUBNET1"},
        {"subnetwork": "projects/PROJECT_ID/regions/LOCATION/subnetworks/SUBNET2"}
    ],
    "scaling_config": {
    "scaling_factor": SCALING_FACTOR
    }
  }

Haz los cambios siguientes:

• PROJECT_ID: el Google Cloud ID del proyecto del proyecto que contiene tu servicio de Dataproc Metastore.
• LOCATION: la Google Cloud región en la que se encuentra tu servicio de Dataproc Metastore.
• SUBNET1,SUBNET2: lista de subredes que forman una configuración multirregional. Puede usar el ID, la URL completa o el nombre relativo de la subred. Puedes especificar hasta cinco subredes.
• SCALING_FACTOR: el factor de escala que quieras usar en el servicio.

Dataproc Metastore 3.1.2

1. Crea las siguientes variables para tu clúster de Dataproc:

   CLUSTER_NAME=CLUSTER_NAME
   PROJECT_ID=PROJECT_ID
   MULTI_REGION=MULTI_REGION
   DATAPROC_IMAGE_VERSION=DATAPROC_IMAGE_VERSION
   PROJECT=PROJECT
   SERVICE_ID=SERVICE_ID

   Haz los cambios siguientes:

   • CLUSTER_NAME: el nombre de tu clúster de Dataproc.
   • PROJECT_ID: el Google Cloud proyecto que contiene tu clúster de Dataproc. Asegúrate de que la subred que vas a usar tiene los permisos adecuados para acceder a este proyecto.
   • MULTI_REGION: la Google Cloud multirregión en la que quieres crear tu clúster de Dataproc.
   • DATAPROC_IMAGE_VERSION: la versión de la imagen de Dataproc que estás usando con tu servicio Dataproc Metastore. Debes usar una versión de imagen 2.0 o posterior.
   • PROJECT: el proyecto que contiene tu servicio Dataproc Metastore.
   • SERVICE_ID: el ID de servicio de tu servicio de Dataproc Metastore.

2. Para crear el clúster, ejecuta el siguiente comando gcloud dataproc clusters create. --enable-kerberos es opcional. Incluye esta opción solo si usas Kerberos con tu clúster.

   gcloud dataproc clusters create ${CLUSTER_NAME} \
    --project ${PROJECT_ID} \
    --region ${MULTI_REGION} \
    --image-version ${DATAPROC_IMAGE_VERSION} \
    --scopes "https://www.googleapis.com/auth/cloud-platform" \
    --dataproc-metastore projects/${PROJECT}/locations/${MULTI_REGION}/services/${SERVICE_ID} \
   [ --enable-kerberos ]

Dataproc Metastore 2.3.6

1. Crea las siguientes variables para tu servicio Dataproc Metastore:

   METASTORE_PROJECT=METASTORE_PROJECT
   METASTORE_ID=METASTORE_ID
   MULTI_REGION=MULTI_REGION
   SUBNET=SUBNET

   Haz los cambios siguientes:

   • METASTORE_PROJECT: el Google Cloud proyecto que contiene tu servicio Dataproc Metastore.
   • METASTORE_ID: el ID de servicio de tu servicio de Dataproc Metastore.
   • MULTI_REGION: la ubicación multirregional que quieras usar para tu servicio Dataproc Metastore.
   • SUBNET: una de las subredes que usas para tu servicio Dataproc Metastore. O cualquier subred de la red de VPC principal de las subredes que se utilicen en tu servicio.

2. Crea las siguientes variables para tu clúster de Dataproc:

   CLUSTER_NAME=CLUSTER_NAME
   DATAPROC_PROJECT=DATAPROC_PROJECT
   DATAPROC_REGION=DATAPROC_REGION
   HIVE_VERSION=HIVE_VERSION
   IMAGE_VERSION=r>IMAGE_VERSION

   Haz los cambios siguientes:

   • CLUSTER_NAME: el nombre de tu clúster de Dataproc.
   • DATAPROC_PROJECT: el Google Cloud proyecto que contiene tu clúster de Dataproc. Asegúrate de que la subred que vas a usar tiene los permisos adecuados para acceder a este proyecto.
   • DATAPROC_REGION: la Google Cloud región en la que quieres crear tu clúster de Dataproc.
   • HIVE_VERSION: la versión de Hive que usa tu servicio Dataproc Metastore.
   • IMAGE_VERSION: la versión de la imagen de Dataproc que estás usando con tu servicio Dataproc Metastore.
     • Para la versión 2.0 de Hive Metastore, usa la versión de imagen 1.5.
     • En el caso de la versión 3.1.2 de Hive Metastore, usa la versión de imagen 2.0.

3. Recupera el directorio del almacén de datos de tu servicio Dataproc Metastore y guárdalo en una variable.

   WAREHOUSE_DIR=$(gcloud metastore services describe "${METASTORE_ID}" --project "${METASTORE_PROJECT}" --location "${MULTI_REGION}" --format="get(hiveMetastoreConfig.configOverrides[hive.metastore.warehouse.dir])")

4. Crea un clúster de Dataproc configurado con un almacén de metadatos multirregional de Dataproc.

   gcloud dataproc clusters create ${CLUSTER_NAME} \
       --project "${DATAPROC_PROJECT}" \
       --region ${DATAPROC_REGION} \
       --scopes "https://www.googleapis.com/auth/cloud-platform" \
       --subnet "${SUBNET}" \
       --optional-components=DOCKER \
       --image-version ${IMAGE_VERSION} \
       --metadata "hive-version=${HIVE_VERSION},dpms-name=${DPMS_NAME}" \
       --properties "hive:hive.metastore.uris=thrift://localhost:9083,hive:hive.metastore.warehouse.dir=${WAREHOUSE_DIR}" \
       --initialization-actions gs://metastore-init-actions/mr-metastore-grpc-proxy/metastore-grpc-proxy.sh