Configura un servicio de Dataproc Metastore multirregional

Console

1. En la Google Cloud consola, ve a la página Dataproc Metastore.

   Ir a Dataproc Metastore

2. En la barra de navegación, haz clic en + Crear.

   Se abrirá el diálogo Crear servicio de Metastore.

3. Selecciona Dataproc Metastore 2.

4. En la sección Precios y capacidad, selecciona Enterprise Plus - Dual region.

5. En Protocolo de extremo, selecciona gRPC.

6. Haz clic en Enviar para crear y, luego, iniciar el servicio.

   Tu nuevo servicio de metastore aparecerá en la página Dataproc Metastore. El estado muestra Creando hasta que el servicio esté listo para usarse. Cuando esté lista, el estado cambiará a Activa. El aprovisionamiento del servicio puede tardar unos minutos.

gcloud CLI

Para crear un servicio multirregional de Dataproc Metastore, ejecuta el siguiente comando gcloud metastore services create. Este comando crea la versión 3.1.2 de Dataproc Metastore.

gcloud metastore services create SERVICE \
  --location=MULTI_REGION \
{ --instance-size=INSTANCE_SIZE | --scaling-factor=SCALING_FACTOR } \
  --endpoint-protocol=grpc

Reemplaza lo siguiente:

• SERVICE: Es el nombre de tu servicio de Dataproc Metastore.
• MULTI_REGION: Es la región múltiple en la que crearás tu servicio de Dataproc Metastore.
• INSTANCE_SIZE: Es el tamaño de la instancia de tu Dataproc Metastore multirregional. Por ejemplo, small, medium o large. Si especificas un valor para INSTANCE_SIZE, no especifiques un valor para SCALING_FACTOR.
• SCALING_FACTOR: Es el factor de ajuste de tu servicio de Dataproc Metastore. Por ejemplo, 0.1. Si especificas un valor para SCALING_FACTOR, no especifiques un valor para INSTANCE_SIZE.

Console

1. En la Google Cloud consola, ve a la página Dataproc Metastore.

   Ir a Dataproc Metastore

2. En la barra de navegación, haz clic en + Crear.

   Se abrirá el diálogo Crear servicio de Metastore.

3. Selecciona Dataproc Metastore 2.

4. En la sección Precios y capacidad, selecciona Enterprise Plus - Birregional.

   Para obtener más información, consulta los planes de precios y las configuraciones de escalamiento.

5. En el campo Nombre del servicio, ingresa un nombre único para tu servicio.

   Para obtener información sobre las convenciones de nomenclatura, consulta Convención de nombres de recursos.

6. En Protocolo de extremo, selecciona Thrift.

7. En Configuración de red, proporciona las subredes que forman la configuración multirregional que elegiste.

8. Para las demás opciones de configuración del servicio, usa los valores predeterminados proporcionados.

9. Haz clic en Enviar para crear y, luego, iniciar el servicio.

   Tu nuevo servicio de metastore aparecerá en la página Dataproc Metastore. El estado muestra Creando hasta que el servicio esté listo para usarse. Cuando esté lista, el estado cambiará a Activa. El aprovisionamiento del servicio puede tardar unos minutos.

gcloud CLI

Para crear un servicio multirregional de Dataproc Metastore, ejecuta el siguiente comando de gcloud metastore services create. Este comando crea la versión 3.1.2 de Dataproc Metastore.

gcloud metastore services create SERVICE \
  --location=MULTI_REGION \
  --consumer-subnetworks="projects/PROJECT_ID/regions/LOCATION1/subnetworks/SUBNET1,projects/PROJECT_ID/regions/LOCATION2/subnetworks/SUBNET2" \
{ --instance-size=INSTANCE_SIZE | --scaling-factor=SCALING_FACTOR } \
  --endpoint-protocol=thrift

También puedes almacenar la configuración de red en un archivo, como se muestra en el siguiente comando.

gcloud metastore services create SERVICE \
  --location=MULTI_REGION \
  --network-config-from-file=NETWORK_CONFIG_FROM_FILE
{ --instance-size=INSTANCE_SIZE | --scaling-factor=SCALING_FACTOR } \
  --endpoint-protocol=thrift

Reemplaza lo siguiente:

• SERVICE: Es el nombre de tu servicio de Dataproc Metastore.
• MULTI_REGION: Es la región múltiple en la que crearás tu servicio de Dataproc Metastore.
• PROJECT_ID: Es el ID del proyecto Google Cloud en el que crearás tu servicio de Dataproc Metastore.
• SUBNET1,SUBNET2: Es una lista de subredes que forman una configuración multirregional. Puedes usar el ID, la URL completamente calificada o el nombre relativo de la subred. Puedes especificar hasta seis subredes.
• LOCATION1,LOCATION2: Una lista de ubicaciones que forman una configuración multirregional. Puedes usar el ID de la ubicación. Por ejemplo, para una multirregión nam7, usas us-central1 y us-east4.
• NETWORK_CONFIG_FROM_FILE: Es la ruta de acceso a un archivo YAML que contiene tu configuración de red.
• INSTANCE_SIZE: Es el tamaño de la instancia de tu Dataproc Metastore multirregional. Por ejemplo, small, medium o large. Si especificas un valor para INSTANCE_SIZE, no especifiques un valor para SCALING_FACTOR.
• SCALING_FACTOR: Es el factor de ajuste de tu servicio de Dataproc Metastore. Por ejemplo, 0.1. Si especificas un valor para SCALING_FACTOR, no especifiques un valor para INSTANCE_SIZE.

REST

Para aprender a crear un servicio de Dataproc Metastore multirregional, sigue las instrucciones para crear un servicio con el Explorador de APIs de Google.

Para configurar un servicio multirregional, proporciona la siguiente información en los objetos Network Config.

  "network_config": {
    "consumers": [
        {"subnetwork": "projects/PROJECT_ID/regions/LOCATION/subnetworks/SUBNET1"},
        {"subnetwork": "projects/PROJECT_ID/regions/LOCATION/subnetworks/SUBNET2"}
    ],
    "scaling_config": {
    "scaling_factor": SCALING_FACTOR
    }
  }

Reemplaza lo siguiente:

• PROJECT_ID: Es el Google Cloud ID del proyecto que contiene tu servicio de Dataproc Metastore.
• LOCATION: Es la Google Cloud región en la que reside tu servicio de Dataproc Metastore.
• SUBNET1,SUBNET2: Es una lista de subredes que forman una configuración multirregional. Puedes usar el ID, la URL completamente calificada o el nombre relativo de la subred. Puedes especificar hasta cinco subredes.
• SCALING_FACTOR: Es el factor de escala que deseas usar para el servicio.

Dataproc Metastore 3.1.2

1. Crea las siguientes variables para tu clúster de Dataproc:

   CLUSTER_NAME=CLUSTER_NAME
   PROJECT_ID=PROJECT_ID
   MULTI_REGION=MULTI_REGION
   DATAPROC_IMAGE_VERSION=DATAPROC_IMAGE_VERSION
   PROJECT=PROJECT
   SERVICE_ID=SERVICE_ID

   Reemplaza lo siguiente:

   • CLUSTER_NAME: Es el nombre de tu clúster de Dataproc.
   • PROJECT_ID: Es el Google Cloud proyecto que contiene tu clúster de Dataproc. Asegúrate de que la subred que usas tenga los permisos adecuados para acceder a este proyecto.
   • MULTI_REGION: Es la Google Cloud región múltiple en la que deseas crear tu clúster de Dataproc.
   • DATAPROC_IMAGE_VERSION: Es la versión de la imagen de Dataproc que usas con tu servicio de Dataproc Metastore. Debes usar una versión de imagen de 2.0 o superior.
   • PROJECT: Es el proyecto que contiene tu servicio de Dataproc Metastore.
   • SERVICE_ID: Es el ID del servicio de tu servicio de Dataproc Metastore.

2. Para crear tu clúster, ejecuta el siguiente comando gcloud dataproc clusters create. --enable-kerberos es opcional. Incluye esta opción solo si usas Kerberos con tu clúster.

   gcloud dataproc clusters create ${CLUSTER_NAME} \
    --project ${PROJECT_ID} \
    --region ${MULTI_REGION} \
    --image-version ${DATAPROC_IMAGE_VERSION} \
    --scopes "https://www.googleapis.com/auth/cloud-platform" \
    --dataproc-metastore projects/${PROJECT}/locations/${MULTI_REGION}/services/${SERVICE_ID} \
   [ --enable-kerberos ]

Dataproc Metastore 2.3.6

1. Crea las siguientes variables para tu servicio de Dataproc Metastore:

   METASTORE_PROJECT=METASTORE_PROJECT
   METASTORE_ID=METASTORE_ID
   MULTI_REGION=MULTI_REGION
   SUBNET=SUBNET

   Reemplaza lo siguiente:

   • METASTORE_PROJECT: El proyecto Google Cloud que contiene tu servicio de Dataproc Metastore.
   • METASTORE_ID: Es el ID del servicio de tu servicio de Dataproc Metastore.
   • MULTI_REGION: Es la ubicación multirregional que deseas usar para tu servicio de Dataproc Metastore.
   • SUBNET: Es una de las subredes que usas para tu servicio de Dataproc Metastore. O cualquier subred de la red de VPC principal de las subredes que se usan para tu servicio.

2. Crea las siguientes variables para tu clúster de Dataproc:

   CLUSTER_NAME=CLUSTER_NAME
   DATAPROC_PROJECT=DATAPROC_PROJECT
   DATAPROC_REGION=DATAPROC_REGION
   HIVE_VERSION=HIVE_VERSION
   IMAGE_VERSION=r>IMAGE_VERSION

   Reemplaza lo siguiente:

   • CLUSTER_NAME: Es el nombre de tu clúster de Dataproc.
   • DATAPROC_PROJECT: Es el Google Cloud proyecto que contiene tu clúster de Dataproc. Asegúrate de que la subred que usas tenga los permisos adecuados para acceder a este proyecto.
   • DATAPROC_REGION: Es la Google Cloud región en la que deseas crear tu clúster de Dataproc.
   • HIVE_VERSION: Es la versión de Hive que usa tu servicio de Dataproc Metastore.
   • IMAGE_VERSION: Es la versión de la imagen de Dataproc que usas con tu servicio de Dataproc Metastore.
     • Para la versión 2.0 de Hive Metastore, usa la versión de imagen 1.5.
     • Para la versión 3.1.2 de Hive Metastore, usa la versión de imagen 2.0.

3. Recupera el directorio de almacén de tu servicio de Dataproc Metastore y almacénalo en una variable.

   WAREHOUSE_DIR=$(gcloud metastore services describe "${METASTORE_ID}" --project "${METASTORE_PROJECT}" --location "${MULTI_REGION}" --format="get(hiveMetastoreConfig.configOverrides[hive.metastore.warehouse.dir])")

4. Crea un clúster de Dataproc configurado con un Dataproc Metastore multirregional.

   gcloud dataproc clusters create ${CLUSTER_NAME} \
       --project "${DATAPROC_PROJECT}" \
       --region ${DATAPROC_REGION} \
       --scopes "https://www.googleapis.com/auth/cloud-platform" \
       --subnet "${SUBNET}" \
       --optional-components=DOCKER \
       --image-version ${IMAGE_VERSION} \
       --metadata "hive-version=${HIVE_VERSION},dpms-name=${DPMS_NAME}" \
       --properties "hive:hive.metastore.uris=thrift://localhost:9083,hive:hive.metastore.warehouse.dir=${WAREHOUSE_DIR}" \
       --initialization-actions gs://metastore-init-actions/mr-metastore-grpc-proxy/metastore-grpc-proxy.sh