Índice
DataprocMetastore
(interface)DataprocMetastoreFederation
(interface)AlterMetadataResourceLocationRequest
(mensagem)AlterMetadataResourceLocationResponse
(mensagem)AlterTablePropertiesRequest
(mensagem)AlterTablePropertiesResponse
(mensagem)AutoscalingConfig
(mensagem)AuxiliaryVersionConfig
(mensagem)BackendMetastore
(mensagem)BackendMetastore.MetastoreType
(enum)Backup
(mensagem)Backup.State
(enum)CancelMigrationRequest
(mensagem)CancelMigrationResponse
(mensagem)CompleteMigrationRequest
(mensagem)CompleteMigrationResponse
(mensagem)CreateBackupRequest
(mensagem)CreateFederationRequest
(mensagem)CreateMetadataImportRequest
(mensagem)CreateServiceRequest
(mensagem)DataCatalogConfig
(mensagem)DatabaseDumpSpec
(mensagem)DatabaseDumpSpec.Type
(enum)DataplexConfig
(mensagem)DeleteBackupRequest
(mensagem)DeleteFederationRequest
(mensagem)DeleteMigrationExecutionRequest
(mensagem)DeleteServiceRequest
(mensagem)EncryptionConfig
(mensagem)ErrorDetails
(mensagem)ExportMetadataRequest
(mensagem)Federation
(mensagem)Federation.State
(enum)GetBackupRequest
(mensagem)GetFederationRequest
(mensagem)GetMetadataImportRequest
(mensagem)GetMigrationExecutionRequest
(mensagem)GetServiceRequest
(mensagem)HiveMetastoreConfig
(mensagem)HiveMetastoreConfig.EndpointProtocol
(enum)KerberosConfig
(mensagem)Lake
(mensagem)LatestBackup
(mensagem)LatestBackup.State
(enum)LimitConfig
(mensagem)ListBackupsRequest
(mensagem)ListBackupsResponse
(mensagem)ListFederationsRequest
(mensagem)ListFederationsResponse
(mensagem)ListMetadataImportsRequest
(mensagem)ListMetadataImportsResponse
(mensagem)ListMigrationExecutionsRequest
(mensagem)ListMigrationExecutionsResponse
(mensagem)ListServicesRequest
(mensagem)ListServicesResponse
(mensagem)LocationMetadata
(mensagem)LocationMetadata.CustomRegionMetadata
(mensagem)LocationMetadata.HiveMetastoreVersion
(mensagem)LocationMetadata.MultiRegionMetadata
(mensagem)MaintenanceWindow
(mensagem)MetadataExport
(mensagem)MetadataExport.State
(enum)MetadataImport
(mensagem)MetadataImport.DatabaseDump
(mensagem)MetadataImport.DatabaseDump.DatabaseType
(enum)MetadataImport.State
(enum)MetadataIntegration
(mensagem)MetadataManagementActivity
(mensagem)MigrationExecution
(mensagem)MigrationExecution.CloudSQLMigrationConfig
(mensagem)MigrationExecution.CloudSQLMigrationConfig.CdcConfig
(mensagem)MigrationExecution.CloudSQLMigrationConfig.CloudSQLConnectionConfig
(mensagem)MigrationExecution.Phase
(enum)MigrationExecution.State
(enum)MoveTableToDatabaseRequest
(mensagem)MoveTableToDatabaseResponse
(mensagem)MultiRegionConfig
(mensagem)MultiRegionConfig.CustomRegionConfig
(mensagem)MultiRegionConfig.RootCACertificate
(mensagem) (obsoleto)NetworkConfig
(mensagem)NetworkConfig.Consumer
(mensagem)OperationMetadata
(mensagem)QueryMetadataRequest
(mensagem)QueryMetadataResponse
(mensagem)RemoveIamPolicyRequest
(mensagem)RemoveIamPolicyResponse
(mensagem)Restore
(mensagem)Restore.RestoreType
(enum)Restore.State
(enum)RestoreServiceRequest
(mensagem)ScalingConfig
(mensagem)ScalingConfig.InstanceSize
(enum)ScheduledBackup
(mensagem)Secret
(mensagem)Service
(mensagem)Service.DatabaseType
(enum)Service.ReleaseChannel
(enum)Service.State
(enum)Service.Tier
(enum)StartMigrationRequest
(mensagem)TelemetryConfig
(mensagem)TelemetryConfig.LogFormat
(enum)UpdateFederationRequest
(mensagem)UpdateMetadataImportRequest
(mensagem)UpdateServiceRequest
(mensagem)
Dataproc Metastore
Configura e gerencia serviços de metastore. Os serviços de metastore são implantações totalmente gerenciadas, altamente disponíveis, com escalonamento automático e recuperação automática de softwares de gerenciamento de metadados técnicos nativos do OSS. Cada serviço de metastore expõe um endpoint de rede em que as consultas de metadados são exibidas. As consultas de metadados podem ter várias origens, incluindo Apache Hive, Apache Presto e Apache Spark.
A API Metastore do Dataproc define o seguinte modelo de recurso:
- O serviço funciona com uma coleção de projetos do Google Cloud, chamada
/projects/*
- Cada projeto tem uma coleção de locais disponíveis, chamada
/locations/*
. Um local precisa se referir a umregion
do Google Cloud. - Cada local tem uma coleção de serviços, chamada
/services/*
- Os serviços do metastore do Dataproc são recursos com nomes do tipo:
/projects/{project_number}/locations/{location_id}/services/{service_id}
AlterMetadataResourceLocation |
---|
Alterar o local do recurso de metadados. O recurso de metadados pode ser um banco de dados, uma tabela ou uma partição. Essa funcionalidade só atualiza o diretório pai do recurso de metadados correspondente e não transfere dados para o novo local.
|
AlterTableProperties |
---|
Alterar as propriedades da tabela de metadados.
|
CancelMigration |
---|
Cancela o processo de migração gerenciada em andamento.
|
CompleteMigration |
---|
Conclui o processo de migração gerenciada. O serviço do Dataproc Metastore vai passar a usar o próprio banco de dados de back-end após a migração.
|
CreateBackup |
---|
Cria um novo backup em um determinado projeto e local.
|
CreateMetadataImport |
---|
Cria uma nova MetadataImport em um determinado projeto e local.
|
CreateService |
---|
Cria um serviço de metastore em um projeto e local.
|
DeleteBackup |
---|
Exclui um único backup.
|
DeleteMigrationExecution |
---|
Exclui uma única execução de migração.
|
DeleteService |
---|
Exclui um único serviço.
|
Exportar metadados |
---|
Exporta metadados de um serviço.
|
GetBackup |
---|
Recebe detalhes de um único backup.
|
GetMetadataImport |
---|
Recebe detalhes de uma única importação.
|
GetMigrationExecution |
---|
Recebe detalhes de uma única execução de migração.
|
GetService |
---|
Recebe os detalhes de um único serviço.
|
ListBackups |
---|
Lista backups em um serviço.
|
ListMetadataImports |
---|
Lista as importações em um serviço.
|
ListMigrationExecutions |
---|
Lista as execuções de migração em um serviço.
|
ListServices |
---|
Lista serviços em um projeto e local.
|
MoveTableToDatabase |
---|
Mover uma tabela para outro banco de dados.
|
QueryMetadata |
---|
Consultar metadados do Dataproc Metastore.
|
RemoveIamPolicy |
---|
Remove as políticas do IAM anexadas a um recurso
|
RestoreService |
---|
Restaura um serviço de um backup.
|
StartMigration |
---|
Inicia o processo de migração gerenciada.
|
UpdateMetadataImport |
---|
Atualiza uma única importação. Somente o campo de descrição de MetadataImport pode ser atualizado.
|
UpdateService |
---|
Atualiza os parâmetros de um único serviço.
|
DataprocMetastoreFederation
Configura e gerencia serviços de federação de metastore. O serviço de federação de metastore do Dataproc permite federar uma coleção de metastores de back-end, como o BigQuery, o Dataplex Lakes e outras metastores do Dataproc. O serviço de federação expõe um URL gRPC em que os metadados das metastores de back-end são veiculados no momento da consulta.
A API Federation do metastore do Dataproc define o seguinte modelo de recurso: * O serviço funciona com uma coleção de projetos do Google Cloud. * Cada projeto tem um conjunto de locais disponíveis. * Cada local tem uma coleção de federações. * As federações de metastore do Dataproc são recursos com nomes do tipo: projects/{project_number}/locations/{location_id}/federations/{federation_id}
.
CreateFederation |
---|
Cria uma federação de metastore em um projeto e local.
|
DeleteFederation |
---|
Exclui uma única federação.
|
GetFederation |
---|
Recebe os detalhes de uma única federação.
|
ListFederations |
---|
Lista federações em um projeto e local.
|
UpdateFederation |
---|
Atualiza os campos de uma federação.
|
AlterMetadataResourceLocationRequest
Mensagem de solicitação para DataprocMetastore.AlterMetadataResourceLocation
.
Campos | |
---|---|
service |
Obrigatório. O nome do recurso relativo do serviço do metastore para modificar metadados, no seguinte formato:
A autorização requer a seguinte permissão do IAM no recurso especificado
|
resource_name |
Obrigatório. O nome do recurso de metadados relativo no formato a seguir.
|
location_uri |
Obrigatório. O novo URI de local para o recurso de metadados. |
AlterMetadataResourceLocationResponse
Esse tipo não tem campos.
Mensagem de resposta para DataprocMetastore.AlterMetadataResourceLocation
.
AlterTablePropertiesRequest
Mensagem de solicitação para DataprocMetastore.AlterTableProperties
.
Campos | |
---|---|
service |
Obrigatório. O nome do recurso relativo do serviço do Dataproc Metastore que está sendo usado para modificar as propriedades da tabela de metadados, no seguinte formato:
A autorização requer a seguinte permissão do IAM no recurso especificado
|
table_name |
Obrigatório. O nome da tabela que contém as propriedades que você está alterando no seguinte formato.
|
update_mask |
Uma máscara de campo que especifica as propriedades da tabela de metadados que são substituídas pela atualização. Os campos especificados em Por exemplo, considerando as propriedades de destino:
E as propriedades de atualização:
Se a máscara de campo for: paths: ["properties.b", "properties.c"] O resultado será:
|
properties |
Um mapa que descreve os valores desejados para mutação. Se update_mask estiver vazio, as propriedades não serão atualizadas. Caso contrário, as propriedades só alteram o valor cujos caminhos associados existem na máscara de atualização. |
AlterTablePropertiesResponse
Esse tipo não tem campos.
Mensagem de resposta para DataprocMetastore.AlterTableProperties
.
AutoscalingConfig
Representa a configuração de escalonamento automático de um serviço de metastore.
Campos | |
---|---|
autoscaling_factor |
Apenas saída. O fator de escalonamento de um serviço com o escalonamento automático ativado. |
autoscaling_enabled |
Opcional. Indica se o escalonamento automático está ativado para este serviço. |
limit_config |
Opcional. O LimitConfig do serviço. |
AuxiliaryVersionConfig
Informações de configuração das versões auxiliares do serviço.
Campos | |
---|---|
version |
A versão do metastore do Hive do serviço auxiliar. Ela precisa ser menor que a versão principal do serviço do metastore do Hive. |
config_overrides |
Um mapeamento de pares de chave-valor de configuração do metastore do Hive a serem aplicados ao metastore auxiliar do Hive (configurado em |
network_config |
Apenas saída. A configuração de rede contém os URIs de endpoint do serviço auxiliar do metastore do Hive. |
BackendMetastore
Representa uma metastore de back-end para a federação.
Campos | |
---|---|
name |
O nome do recurso relativo da metastore que está sendo federada. Os formatos dos nomes de recursos relativos para as metalojas atualmente compatíveis estão listados abaixo:
|
metastore_type |
O tipo da metastore de back-end. |
MetastoreType
O tipo da metastore de back-end.
Enums | |
---|---|
METASTORE_TYPE_UNSPECIFIED |
O tipo de metastore não está definido. |
DATAPLEX |
O metastore do back-end é o Dataplex. |
BIGQUERY |
A metastore de back-end é o BigQuery. |
DATAPROC_METASTORE |
O metastore do back-end é o metastore do Dataproc. |
Backup
Detalhes de um recurso de backup.
Campos | |
---|---|
name |
Imutável. O nome do recurso relativo do backup, no seguinte formato:
|
create_time |
Apenas saída. Hora em que o backup foi iniciado. |
end_time |
Apenas saída. A hora em que a criação do backup foi concluída. |
state |
Apenas saída. O estado atual do backup. |
service_revision |
Apenas saída. A revisão do serviço no momento do backup. |
description |
A descrição do backup. |
restoring_services[] |
Apenas saída. Serviços que estão sendo restaurados do backup. |
Estado
O estado atual do backup.
Enums | |
---|---|
STATE_UNSPECIFIED |
O estado do backup é desconhecido. |
CREATING |
O backup está sendo criado. |
DELETING |
O backup está sendo excluído. |
ACTIVE |
O backup está ativo e pronto para uso. |
FAILED |
O backup falhou. |
RESTORING |
O backup está sendo restaurado. |
CancelMigrationRequest
Mensagem de solicitação para DataprocMetastore.CancelMigration
.
Campos | |
---|---|
service |
Obrigatório. O nome do recurso relativo do serviço de metastore para cancelar a migração em andamento, no seguinte formato:
A autorização requer a seguinte permissão do IAM no recurso especificado
|
CancelMigrationResponse
Mensagem de resposta para DataprocMetastore.CancelMigration
.
Campos | |
---|---|
migration_execution |
O nome do recurso relativo da execução da migração, no seguinte formato:
|
CompleteMigrationRequest
Mensagem de solicitação para DataprocMetastore.CompleteMigration
.
Campos | |
---|---|
service |
Obrigatório. O nome do recurso relativo do serviço do metastore para concluir a migração, no seguinte formato:
A autorização requer a seguinte permissão do IAM no recurso especificado
|
CompleteMigrationResponse
Mensagem de resposta para DataprocMetastore.CompleteMigration
.
Campos | |
---|---|
migration_execution |
O nome do recurso relativo da execução da migração, no seguinte formato:
|
CreateBackupRequest
Mensagem de solicitação para DataprocMetastore.CreateBackup
.
Campos | |
---|---|
parent |
Obrigatório. O nome do recurso relativo do serviço em que um backup será criado:
A autorização requer a seguinte permissão do IAM no recurso especificado
|
backup_id |
Obrigatório. O ID do backup, que é usado como o componente final do nome do backup. O valor precisa ter entre 1 e 64 caracteres, começar com uma letra, terminar com uma letra ou um número e consistir em caracteres alfanuméricos ASCII ou hifens. |
backup |
Obrigatório. O backup a ser criado. O campo |
request_id |
Opcional. Um ID de solicitação. Especifique um ID de solicitação exclusivo para permitir que o servidor ignore a solicitação se ela for concluída. O servidor vai ignorar as solicitações subsequentes que fornecem um ID de solicitação duplicado por pelo menos 60 minutos após a primeira solicitação. Por exemplo, se uma solicitação inicial expirar, seguida por outra com o mesmo ID, o servidor vai ignorar a segunda solicitação para evitar a criação de compromissos duplicados. O ID da solicitação precisa ser um UUID válido. Não é possível usar um UUID zero (00000000-0000-0000-0000-000000000000). |
CreateFederationRequest
Mensagem de solicitação para CreateFederation.
Campos | |
---|---|
parent |
Obrigatório. O nome do recurso relativo do local em que um serviço de federação será criado, no seguinte formato:
A autorização requer a seguinte permissão do IAM no recurso especificado
|
federation_id |
Obrigatório. O ID da federação da metastore, que é usado como o componente final do nome da federação da metastore. O valor precisa ter entre 2 e 63 caracteres, começar com uma letra, terminar com uma letra ou um número e consistir em caracteres alfanuméricos ASCII ou hifens. |
federation |
Obrigatório. A federação do Metastore a ser criada. O campo |
request_id |
Opcional. Um ID de solicitação. Especifique um ID de solicitação exclusivo para permitir que o servidor ignore a solicitação se ela for concluída. O servidor vai ignorar as solicitações subsequentes que fornecem um ID de solicitação duplicado por pelo menos 60 minutos após a primeira solicitação. Por exemplo, se uma solicitação inicial expirar, seguida por outra com o mesmo ID, o servidor vai ignorar a segunda solicitação para evitar a criação de compromissos duplicados. O ID da solicitação precisa ser um UUID válido. Não é possível usar um UUID zero (00000000-0000-0000-0000-000000000000). |
CreateMetadataImportRequest
Mensagem de solicitação para DataprocMetastore.CreateMetadataImport
.
Campos | |
---|---|
parent |
Obrigatório. O nome do recurso relativo do serviço em que uma importação de metastore será criada, no seguinte formato:
A autorização requer a seguinte permissão do IAM no recurso especificado
|
metadata_import_id |
Obrigatório. O ID da importação de metadados, que é usado como o componente final do nome da importação de metadados. O valor precisa ter entre 1 e 64 caracteres, começar com uma letra, terminar com uma letra ou um número e consistir em caracteres alfanuméricos ASCII ou hifens. |
metadata_import |
Obrigatório. A importação de metadados a ser criada. O campo |
request_id |
Opcional. Um ID de solicitação. Especifique um ID de solicitação exclusivo para permitir que o servidor ignore a solicitação se ela for concluída. O servidor vai ignorar as solicitações subsequentes que fornecem um ID de solicitação duplicado por pelo menos 60 minutos após a primeira solicitação. Por exemplo, se uma solicitação inicial expirar, seguida por outra com o mesmo ID, o servidor vai ignorar a segunda solicitação para evitar a criação de compromissos duplicados. O ID da solicitação precisa ser um UUID válido. Não é possível usar um UUID zero (00000000-0000-0000-0000-000000000000). |
CreateServiceRequest
Mensagem de solicitação para DataprocMetastore.CreateService
.
Campos | |
---|---|
parent |
Obrigatório. O nome do recurso relativo do local em que um serviço de metastore será criado, no seguinte formato:
A autorização requer a seguinte permissão do IAM no recurso especificado
|
service_id |
Obrigatório. O ID do serviço da metastore, que é usado como o componente final do nome do serviço da metastore. O valor precisa ter entre 2 e 63 caracteres, começar com uma letra, terminar com uma letra ou um número e consistir em caracteres alfanuméricos ASCII ou hifens. |
service |
Obrigatório. O serviço de metastore a ser criado. O campo |
request_id |
Opcional. Um ID de solicitação. Especifique um ID de solicitação exclusivo para permitir que o servidor ignore a solicitação se ela for concluída. O servidor vai ignorar as solicitações subsequentes que fornecem um ID de solicitação duplicado por pelo menos 60 minutos após a primeira solicitação. Por exemplo, se uma solicitação inicial expirar, seguida por outra com o mesmo ID, o servidor vai ignorar a segunda solicitação para evitar a criação de compromissos duplicados. O ID da solicitação precisa ser um UUID válido. Não é possível usar um UUID zero (00000000-0000-0000-0000-000000000000). |
DataCatalogConfig
Especifica como os metadados do metastore precisam ser integrados ao serviço do Data Catalog.
Campos | |
---|---|
enabled |
Opcional. Define se os metadados do metastore precisam ser sincronizados com o Data Catalog. O valor padrão é desativar a sincronização dos metadados do metastore com o Data Catalog. |
DatabaseDumpSpec
Esse tipo não tem campos.
Especificação do despejo de banco de dados para importar ou exportar.
Tipo
O tipo de despejo do banco de dados.
Enums | |
---|---|
TYPE_UNSPECIFIED |
O tipo de despejo de banco de dados é desconhecido. |
MYSQL |
O dump do banco de dados é um arquivo de dump do MySQL. |
AVRO |
O dump do banco de dados contém arquivos Avro. |
DataplexConfig
Especifica como os metadados do metastore precisam ser integrados ao serviço do Dataplex.
Campos | |
---|---|
lake_resources |
Uma referência aos recursos do lake a que este serviço de metastore está anexado. A chave é o nome do recurso do lago. Exemplo: |
DeleteBackupRequest
Mensagem de solicitação para DataprocMetastore.DeleteBackup
.
Campos | |
---|---|
name |
Obrigatório. O nome do recurso relativo do backup a ser excluído, no seguinte formato:
A autorização requer a seguinte permissão do IAM no recurso especificado
|
request_id |
Opcional. Um ID de solicitação. Especifique um ID de solicitação exclusivo para permitir que o servidor ignore a solicitação se ela for concluída. O servidor vai ignorar as solicitações subsequentes que fornecem um ID de solicitação duplicado por pelo menos 60 minutos após a primeira solicitação. Por exemplo, se uma solicitação inicial expirar, seguida por outra com o mesmo ID, o servidor vai ignorar a segunda solicitação para evitar a criação de compromissos duplicados. O ID da solicitação precisa ser um UUID válido. Não é possível usar um UUID zero (00000000-0000-0000-0000-000000000000). |
DeleteFederationRequest
Mensagem de solicitação para DeleteFederation.
Campos | |
---|---|
name |
Obrigatório. O nome do recurso relativo da federação de metastore a ser excluída, no seguinte formato:
A autorização requer a seguinte permissão do IAM no recurso especificado
|
request_id |
Opcional. Um ID de solicitação. Especifique um ID de solicitação exclusivo para permitir que o servidor ignore a solicitação se ela for concluída. O servidor vai ignorar as solicitações subsequentes que fornecem um ID de solicitação duplicado por pelo menos 60 minutos após a primeira solicitação. Por exemplo, se uma solicitação inicial expirar, seguida por outra com o mesmo ID, o servidor vai ignorar a segunda solicitação para evitar a criação de compromissos duplicados. O ID da solicitação precisa ser um UUID válido. Não é possível usar um UUID zero (00000000-0000-0000-0000-000000000000). |
DeleteMigrationExecutionRequest
Mensagem de solicitação para DataprocMetastore.DeleteMigrationExecution
.
Campos | |
---|---|
name |
Obrigatório. O nome do recurso relativo da migrationExecution a ser excluída, no seguinte formato:
A autorização requer a seguinte permissão do IAM no recurso especificado
|
request_id |
Opcional. Um ID de solicitação. Especifique um ID de solicitação exclusivo para permitir que o servidor ignore a solicitação se ela for concluída. O servidor vai ignorar as solicitações subsequentes que fornecem um ID de solicitação duplicado por pelo menos 60 minutos após a primeira solicitação. Por exemplo, se uma solicitação inicial expirar, seguida por outra com o mesmo ID, o servidor vai ignorar a segunda solicitação para evitar a criação de compromissos duplicados. O ID da solicitação precisa ser um UUID válido. Não é possível usar um UUID zero (00000000-0000-0000-0000-000000000000). |
DeleteServiceRequest
Mensagem de solicitação para DataprocMetastore.DeleteService
.
Campos | |
---|---|
name |
Obrigatório. O nome do recurso relativo do serviço da metastore a ser excluído, neste formato:
A autorização requer a seguinte permissão do IAM no recurso especificado
|
request_id |
Opcional. Um ID de solicitação. Especifique um ID de solicitação exclusivo para permitir que o servidor ignore a solicitação se ela for concluída. O servidor vai ignorar as solicitações subsequentes que fornecem um ID de solicitação duplicado por pelo menos 60 minutos após a primeira solicitação. Por exemplo, se uma solicitação inicial expirar, seguida por outra com o mesmo ID, o servidor vai ignorar a segunda solicitação para evitar a criação de compromissos duplicados. O ID da solicitação precisa ser um UUID válido. Não é possível usar um UUID zero (00000000-0000-0000-0000-000000000000). |
EncryptionConfig
Configurações de criptografia do serviço.
Campos | |
---|---|
kms_key |
O cliente forneceu o nome da chave do Cloud KMS totalmente qualificado para usar na criptografia dos dados do cliente, no seguinte formato:
|
ErrorDetails
Detalhes do erro na mensagem de erro pública para DataprocMetastore.QueryMetadata
.
Campos | |
---|---|
details |
São outros detalhes estruturados sobre esse erro. As chaves definem os itens de falha. O valor descreve a exceção ou os detalhes do item. |
ExportMetadataRequest
Mensagem de solicitação para DataprocMetastore.ExportMetadata
.
Campos | |
---|---|
service |
Obrigatório. O nome do recurso relativo do serviço do metastore para executar a exportação, no seguinte formato:
A autorização requer a seguinte permissão do IAM no recurso especificado
|
request_id |
Opcional. Um ID de solicitação. Especifique um ID de solicitação exclusivo para permitir que o servidor ignore a solicitação se ela for concluída. O servidor vai ignorar as solicitações subsequentes que fornecem um ID de solicitação duplicado por pelo menos 60 minutos após a primeira solicitação. Por exemplo, se uma solicitação inicial expirar, seguida por outra com o mesmo ID, o servidor vai ignorar a segunda solicitação para evitar a criação de compromissos duplicados. O ID da solicitação precisa ser um UUID válido. Não é possível usar um UUID zero (00000000-0000-0000-0000-000000000000). |
database_dump_type |
Opcional. O tipo de despejo do banco de dados. Se não for especificado, |
Campo de união destination . Obrigatório. Destino para onde os metadados são exportados. destination pode ser apenas de um dos tipos a seguir: |
|
destination_gcs_folder |
Um URI do Cloud Storage de uma pasta, no formato |
Federação
Representa uma federação de várias metalojas de back-end.
Campos | |
---|---|
name |
Imutável. O nome do recurso relativo da federação, no formato: projects/{project_number}/locations/{location_id}/federations/{federation_id}. |
create_time |
Apenas saída. A hora em que a federação de metastore foi criada. |
update_time |
Apenas saída. A hora em que a federação da metastore foi atualizada pela última vez. |
labels |
Rótulos definidos pelo usuário para a federação de metastore. |
version |
Imutável. A versão do metastore do Apache Hive da federação. Todas as versões da metastore de back-end precisam ser compatíveis com a versão da federação. |
backend_metastores |
Um mapa da classificação |
endpoint_uri |
Apenas saída. O endpoint da federação. |
state |
Apenas saída. O estado atual da federação. |
state_message |
Apenas saída. Outras informações sobre o estado atual da federação da metastore, se disponíveis. |
uid |
Apenas saída. O identificador de recurso globalmente exclusivo da federação de metastore. |
Estado
O estado atual da federação.
Enums | |
---|---|
STATE_UNSPECIFIED |
O estado da federação de metastore é desconhecido. |
CREATING |
A federação de metastore está em processo de criação. |
ACTIVE |
A federação de metastore está em execução e pronta para atender consultas. |
UPDATING |
A federação de metastore está sendo atualizada. Ele continua utilizável, mas não é possível aceitar outras solicitações de atualização nem excluí-lo no momento. |
DELETING |
A federação do metastore está sendo excluída. Não é possível usar. |
ERROR |
A federação de metastore encontrou um erro e não pode ser usada. A federação da metastore precisa ser excluída. |
GetBackupRequest
Mensagem de solicitação para DataprocMetastore.GetBackup
.
Campos | |
---|---|
name |
Obrigatório. O nome do recurso relativo do backup a ser recuperado, neste formato:
A autorização requer a seguinte permissão do IAM no recurso especificado
|
GetFederationRequest
Mensagem de solicitação para GetFederation.
Campos | |
---|---|
name |
Obrigatório. O nome do recurso relativo da federação de metastore a ser recuperado, neste formato:
A autorização requer a seguinte permissão do IAM no recurso especificado
|
GetMetadataImportRequest
Mensagem de solicitação para DataprocMetastore.GetMetadataImport
.
Campos | |
---|---|
name |
Obrigatório. O nome do recurso relativo da importação de metadados a ser recuperada, no seguinte formato:
A autorização requer a seguinte permissão do IAM no recurso especificado
|
GetMigrationExecutionRequest
Mensagem de solicitação para DataprocMetastore.GetMigrationExecution
.
Campos | |
---|---|
name |
Obrigatório. O nome do recurso relativo da execução de migração a ser recuperado, neste formato:
A autorização requer a seguinte permissão do IAM no recurso especificado
|
GetServiceRequest
Mensagem de solicitação para DataprocMetastore.GetService
.
Campos | |
---|---|
name |
Obrigatório. O nome do recurso relativo do serviço de metastore a ser recuperado, no seguinte formato:
A autorização requer a seguinte permissão do IAM no recurso especificado
|
HiveMetastoreConfig
Especifica informações de configuração específicas para executar o software do metastore do Hive como o serviço do metastore.
Campos | |
---|---|
version |
Imutável. A versão do esquema do metastore do Hive. |
config_overrides |
Um mapeamento de pares de chave-valor de configuração do metastore do Hive a serem aplicados a ele (configurado em |
kerberos_config |
Informações usadas para configurar o serviço do metastore do Hive como um principal do serviço em um realm do Kerberos. Para desativar o Kerberos, use o método |
endpoint_protocol |
O protocolo a ser usado para o endpoint de serviço do metastore. Se não for especificado, |
auxiliary_versions |
Um mapeamento da versão do metastore do Hive para a configuração da versão auxiliar. Quando especificado, um serviço secundário de metastore do Hive é criado com o serviço principal. Todas as versões auxiliares precisam ser anteriores à versão principal do serviço. A chave é o nome do serviço auxiliar e precisa corresponder à expressão regular a-z?. Isso significa que o primeiro caractere precisa ser uma letra minúscula, e todos os seguintes precisam ser hífen, letra minúscula ou dígito, exceto o último, que não pode ser um hífen. |
EndpointProtocol
Protocolos disponíveis para veicular o endpoint de serviço do metastore.
Enums | |
---|---|
ENDPOINT_PROTOCOL_UNSPECIFIED |
O protocolo não foi definido. |
THRIFT |
Use o protocolo Apache Thrift legado para o endpoint de serviço do metastore. |
GRPC |
Use o protocolo gRPC modernizado para o endpoint de serviço do metastore. |
KerberosConfig
Informações de configuração para um principal do Kerberos.
Campos | |
---|---|
keytab |
Um arquivo keytab do Kerberos que pode ser usado para autenticar um principal de serviço com um centro de distribuição de chaves (KDC, na sigla em inglês) do Kerberos. |
principal |
Um principal do Kerberos que existe no keytab e no KDC para autenticação. Um principal típico é do formato |
krb5_config_gcs_uri |
Um URI do Cloud Storage que especifica o caminho para um arquivo krb5.conf. Ele tem o formato |
Lake
Representa um recurso Lake
Campos | |
---|---|
name |
O nome do recurso do lago. Exemplo: |
LatestBackup
Os detalhes do último backup programado.
Campos | |
---|---|
backup_id |
Apenas saída. O ID de um backup programado em andamento. Vazia se nenhum backup estiver em andamento. |
start_time |
Apenas saída. Hora em que o backup foi iniciado. |
state |
Apenas saída. O estado atual do backup. |
duration |
Apenas saída. A duração da conclusão do backup. |
Estado
O estado atual do backup.
Enums | |
---|---|
STATE_UNSPECIFIED |
O estado do backup é desconhecido. |
IN_PROGRESS |
O backup está em andamento. |
SUCCEEDED |
O backup foi concluído. |
FAILED |
O backup falhou. |
LimitConfig
Representa a configuração do limite de escalonamento automático de um serviço de metastore.
Campos | |
---|---|
max_scaling_factor |
Opcional. O maior fator de escalonamento para o qual o serviço precisa ser escalonado automaticamente. |
min_scaling_factor |
Opcional. O menor fator de escalonamento para o qual o serviço precisa ser escalonado automaticamente. |
ListBackupsRequest
Mensagem de solicitação para DataprocMetastore.ListBackups
.
Campos | |
---|---|
parent |
Obrigatório. O nome do recurso relativo do serviço cujos backups serão listados, no seguinte formato:
A autorização requer a seguinte permissão do IAM no recurso especificado
|
page_size |
Opcional. O número máximo de backups a serem retornados. A resposta pode conter menos do que o número máximo. Se não for especificado, não mais de 500 backups serão retornados. O valor máximo é 1.000. Valores acima disso são alterados para 1.000. |
page_token |
Opcional. Um token de página recebido de uma chamada Para recuperar a primeira página, forneça um token de página vazio. Na paginação, outros parâmetros enviados para |
filter |
Opcional. O filtro a ser aplicado aos resultados da lista. |
order_by |
Opcional. Especifique a ordem dos resultados, conforme descrito em Ordem de classificação. Se não for especificado, os resultados serão classificados na ordem padrão. |
ListBackupsResponse
Mensagem de resposta para DataprocMetastore.ListBackups
.
Campos | |
---|---|
backups[] |
Os backups do serviço especificado. |
next_page_token |
Um token que pode ser enviado como |
unreachable[] |
Locais que não puderam ser alcançados. |
ListFederationsRequest
Mensagem de solicitação para ListFederations.
Campos | |
---|---|
parent |
Obrigatório. O nome do recurso relativo do local das federações de metastore a serem listadas, no seguinte formato: A autorização requer a seguinte permissão do IAM no recurso especificado
|
page_size |
Opcional. O número máximo de federações a serem retornadas. A resposta pode conter menos do que o número máximo. Se não for especificado, não mais de 500 serviços serão retornados. O valor máximo é 1.000. Valores acima disso são alterados para 1.000. |
page_token |
Opcional. Um token de página recebido de uma chamada ListFederationServices anterior. Forneça este token para recuperar a página seguinte. Para recuperar a primeira página, forneça um token de página vazio. Na paginação, outros parâmetros enviados para ListFederationServices precisam corresponder à chamada que informou o token da página. |
filter |
Opcional. O filtro a ser aplicado aos resultados da lista. |
order_by |
Opcional. Especifique a ordem dos resultados, conforme descrito em Ordem de classificação. Se não for especificado, os resultados serão classificados na ordem padrão. |
ListFederationsResponse
Mensagem de resposta para ListFederations.
Campos | |
---|---|
federations[] |
Os serviços no local especificado. |
next_page_token |
Um token que pode ser enviado como |
unreachable[] |
Locais que não puderam ser alcançados. |
ListMetadataImportsRequest
Mensagem de solicitação para DataprocMetastore.ListMetadataImports
.
Campos | |
---|---|
parent |
Obrigatório. O nome do recurso relativo do serviço cujos metadados são importados para a lista, no seguinte formato:
A autorização requer a seguinte permissão do IAM no recurso especificado
|
page_size |
Opcional. O número máximo de importações a serem retornadas. A resposta pode conter menos do que o número máximo. Se não for especificado, não serão retornadas mais de 500 importações. O valor máximo é 1.000. Valores acima disso são alterados para 1.000. |
page_token |
Opcional. Um token de página recebido de uma chamada Para recuperar a primeira página, forneça um token de página vazio. Na paginação, outros parâmetros enviados para |
filter |
Opcional. O filtro a ser aplicado aos resultados da lista. |
order_by |
Opcional. Especifique a ordem dos resultados, conforme descrito em Ordem de classificação. Se não for especificado, os resultados serão classificados na ordem padrão. |
ListMetadataImportsResponse
Mensagem de resposta para DataprocMetastore.ListMetadataImports
.
Campos | |
---|---|
metadata_imports[] |
As importações no serviço especificado. |
next_page_token |
Um token que pode ser enviado como |
unreachable[] |
Locais que não puderam ser alcançados. |
ListMigrationExecutionsRequests
Mensagem de solicitação para DataprocMetastore.ListMigrationExecutions
.
Campos | |
---|---|
parent |
Obrigatório. O nome do recurso relativo do serviço cujas execuções de migração serão listadas, no seguinte formato:
A autorização requer a seguinte permissão do IAM no recurso especificado
|
page_size |
Opcional. O número máximo de execuções de migração a serem retornadas. A resposta pode conter menos do que o número máximo. Se não for especificado, não mais de 500 execuções de migração serão retornadas. O valor máximo é 1.000. Valores acima disso são alterados para 1.000. |
page_token |
Opcional. Um token de página recebido de uma chamada Para recuperar a primeira página, forneça um token de página vazio. Na paginação, outros parâmetros enviados para |
filter |
Opcional. O filtro a ser aplicado aos resultados da lista. |
order_by |
Opcional. Especifique a ordem dos resultados, conforme descrito em Ordem de classificação. Se não for especificado, os resultados serão classificados na ordem padrão. |
ListMigrationExecutionsResponse
Mensagem de resposta para DataprocMetastore.ListMigrationExecutions
.
Campos | |
---|---|
migration_executions[] |
As execuções de migração no serviço especificado. |
next_page_token |
Um token que pode ser enviado como |
unreachable[] |
Locais que não puderam ser alcançados. |
ListServicesRequest
Mensagem de solicitação para DataprocMetastore.ListServices
.
Campos | |
---|---|
parent |
Obrigatório. O nome do recurso relativo do local dos serviços do metastore a serem listados, no seguinte formato:
A autorização requer a seguinte permissão do IAM no recurso especificado
|
page_size |
Opcional. O número máximo de serviços a serem retornados. A resposta pode conter menos do que o número máximo. Se não for especificado, não mais de 500 serviços serão retornados. O valor máximo é 1.000. Valores acima disso são alterados para 1.000. |
page_token |
Opcional. Um token de página recebido de uma chamada Para recuperar a primeira página, forneça um token de página vazio. Na paginação, outros parâmetros enviados para |
filter |
Opcional. O filtro a ser aplicado aos resultados da lista. |
order_by |
Opcional. Especifique a ordem dos resultados, conforme descrito em Ordem de classificação. Se não for especificado, os resultados serão classificados na ordem padrão. |
ListServicesResponse
Mensagem de resposta para DataprocMetastore.ListServices
.
Campos | |
---|---|
services[] |
Os serviços no local especificado. |
next_page_token |
Um token que pode ser enviado como |
unreachable[] |
Locais que não puderam ser alcançados. |
LocationMetadata
Metadados sobre o serviço em um local.
Campos | |
---|---|
supported_hive_metastore_versions[] |
As versões do metastore do Hive que podem ser usadas ao criar um novo serviço de metastore neste local. O servidor garante que exatamente um |
multi_region_metadata |
Os metadados multirregionais, se a região atual for multirregional. |
custom_region_metadata[] |
Possíveis configurações compatíveis se a região atual for personalizada. |
CustomRegionMetadata
Metadados sobre uma região personalizada. Esse campo só será preenchido se a região for personalizada. Para regiões únicas/múltiplas, ele estará vazio.
Campos | |
---|---|
required_read_write_regions[] |
As regiões de leitura/gravação para essa região personalizada. |
optional_read_only_regions[] |
As regiões somente leitura para essa região personalizada. |
witness_region |
A região testemunha do Spanner para essa região personalizada. |
HiveMetastoreVersion
Uma especificação de uma versão com suporte do software Metastore do Hive.
Campos | |
---|---|
version |
A versão semântica do software Metastore do Hive. |
is_default |
Indica se o |
MultiRegionMetadata
Os metadados da multirregião que inclui as regiões constituintes. Os metadados só são preenchidos se a região for multirregião. Para região única ou região dupla personalizada, ele estará vazio.
Campos | |
---|---|
constituent_regions[] |
As regiões que constituem a multirregião. |
MaintenanceWindow
Janela de manutenção Isso especifica quando o Dataproc Metastore pode realizar a operação de manutenção do sistema no serviço.
Campos | |
---|---|
hour_of_day |
A hora do dia (0 a 23) em que a janela começa. |
day_of_week |
O dia da semana em que a janela começa. |
MetadataExport
Detalhes de uma operação de exportação de metadados.
Campos | |
---|---|
start_time |
Apenas saída. O horário em que a exportação começou. |
end_time |
Apenas saída. O horário em que a exportação foi concluída. |
state |
Apenas saída. O estado atual da exportação. |
database_dump_type |
Apenas saída. O tipo de despejo do banco de dados. |
Campo de união
|
|
destination_gcs_uri |
Apenas saída. Um URI do Cloud Storage de uma pasta para onde os metadados são exportados, no formato |
Estado
O estado atual da exportação de metadados.
Enums | |
---|---|
STATE_UNSPECIFIED |
O estado da exportação de metadados é desconhecido. |
RUNNING |
A exportação de metadados está em execução. |
SUCCEEDED |
A exportação de metadados foi concluída. |
FAILED |
A exportação de metadados falhou. |
CANCELLED |
A exportação de metadados é cancelada. |
MetadataImport
Um recurso de metastore que importa metadados.
Campos | |
---|---|
name |
Imutável. O nome do recurso relativo da importação de metadados, no formato:
|
description |
A descrição da importação de metadados. |
create_time |
Apenas saída. Hora em que a importação de metadados foi iniciada. |
update_time |
Apenas saída. Hora em que a importação de metadados foi atualizada pela última vez. |
end_time |
Apenas saída. A hora em que a importação de metadados foi concluída. |
state |
Apenas saída. O estado atual da importação de metadados. |
Campo de união metadata . Os metadados a serem importados. metadata pode ser apenas de um dos tipos a seguir: |
|
database_dump |
Imutável. Um despejo de banco de dados de um metastore pré-existente. |
DatabaseDump
Uma especificação do local e dos metadados de um despejo de banco de dados de um sistema de gerenciamento de banco de dados relacional.
Campos | |
---|---|
database_type |
O tipo do banco de dados. |
gcs_uri |
Um URI de objeto ou pasta do Cloud Storage que especifica a origem de importação de metadados. O nome precisa começar com |
source_database |
O nome do banco de dados de origem. |
type |
Opcional. O tipo de despejo do banco de dados. Se não for especificado, |
DatabaseType
O tipo do banco de dados.
Enums | |
---|---|
DATABASE_TYPE_UNSPECIFIED |
O tipo do banco de dados de origem é desconhecido. |
MYSQL |
O tipo do banco de dados de origem é MySQL. |
Estado
O estado atual da importação de metadados.
Enums | |
---|---|
STATE_UNSPECIFIED |
O estado da importação de metadados é desconhecido. |
RUNNING |
A importação de metadados está em execução. |
SUCCEEDED |
A importação de metadados foi concluída. |
UPDATING |
A importação de metadados está sendo atualizada. |
FAILED |
A importação de metadados falhou, e as tentativas de mudanças nos metadados foram revertidas. |
MetadataIntegration
Especifica como os metadados do metastore precisam ser integrados a serviços externos.
Campos | |
---|---|
data_catalog_config |
Opcional. A configuração de integração do serviço do Data Catalog. |
dataplex_config |
A configuração de integração do serviço do Dataplex. |
MetadataManagementActivity
As atividades de gerenciamento de metadados do serviço de metastore.
Campos | |
---|---|
metadata_exports[] |
Apenas saída. As exportações de metadados mais recentes do serviço do metastore. |
restores[] |
Apenas saída. As restaurações mais recentes do serviço da metastore. |
MigrationExecution
Detalhes de um recurso de execução de migração.
Campos | |
---|---|
name |
Apenas saída. O nome do recurso relativo da execução da migração, no seguinte formato: |
create_time |
Apenas saída. O horário em que a execução da migração foi iniciada. |
end_time |
Apenas saída. O horário em que a execução da migração foi concluída. |
state |
Apenas saída. O estado atual da execução da migração. |
phase |
Apenas saída. A fase atual da execução da migração. |
state_message |
Apenas saída. Outras informações sobre o estado atual da execução da migração. |
Campo de união migration_config . As informações de configuração necessárias pelo Dataproc Metastore para iniciar o processo de migração migration_config podem ser apenas uma das seguintes: |
|
cloud_sql_migration_config |
Informações de configuração específicas para migrar do metastore autogerenciado do Hive no Google Cloud usando o Cloud SQL como o banco de dados de back-end para o Dataproc Metastore. |
CloudSQLMigrationConfig
Informações de configuração para migrar do Hive Metastore autogerenciado no Google Cloud usando o Cloud SQL como o banco de dados de back-end para o Dataproc Metastore.
Campos | |
---|---|
cdc_config |
Obrigatório. Informações de configuração para iniciar os streams de captura de dados alterados (CDC) do banco de dados do cliente para o banco de dados de back-end do Dataproc Metastore. O Dataproc Metastore passa a usar o próprio banco de dados de back-end após a fase de transição da migração. |
cloud_sql_connection_config |
Obrigatório. Informações de configuração para estabelecer a conexão do banco de dados do cliente antes da fase de transição da migração |
CdcConfig
Informações de configuração para iniciar os streams de captura de dados alterados (CDC) do banco de dados do cliente para o banco de dados de back-end do Dataproc Metastore.
Campos | |
---|---|
vpc_network |
Obrigatório. Nome totalmente qualificado da rede VPC da instância do Cloud SQL ou da rede VPC compartilhada que o Datastream vai usar para fazer peering, no seguinte formato: |
subnet_ip_range |
Obrigatório. Um intervalo de IP CIDR /29 para peering com o Datastream. |
username |
Obrigatório. O nome de usuário que o serviço do Datastream deve usar para a conexão MySQL. |
password |
Obrigatório. Somente entrada. A senha do usuário que o serviço do Datastream deve usar para a conexão MySQL. Este campo não é retornado na solicitação. |
reverse_proxy_subnet |
Obrigatório. O URL do recurso de sub-rede para criar a instância de VM que hospeda o proxy reverso. Mais contexto em https://cloud.google.com/datastream/docs/private-connectivity#reverse-csql-proxy. A sub-rede precisa estar na rede fornecida na solicitação em que o Datastream vai fazer peering e na mesma região que esse serviço, no formato a seguir. |
bucket |
Opcional. O bucket para gravar os dados de eventos de fluxo intermediário. O nome do bucket não pode ter prefixos como "gs://". Consulte os requisitos de nomenclatura de bucket. Este campo é opcional. Se não for definido, o bucket do Cloud Storage de artefatos será usado. |
root_path |
Opcional. O caminho raiz no bucket do Cloud Storage. Os dados do evento de fluxo serão gravados nesse caminho. O valor padrão é |
CloudSQLConnectionConfig
Informações de configuração para estabelecer a conexão do banco de dados do cliente antes da fase de transição da migração
Campos | |
---|---|
instance_connection_name |
Obrigatório. Nome da conexão do banco de dados do Cloud SQL (project_id:region:instance_name) |
ip_address |
Obrigatório. O endereço IP particular da instância do Cloud SQL. |
port |
Obrigatório. A porta de rede do banco de dados. |
hive_database_name |
Obrigatório. O nome do banco de dados do Hive. |
username |
Obrigatório. O nome de usuário que o serviço do Dataproc Metastore vai usar para se conectar ao banco de dados. |
password |
Obrigatório. Somente entrada. A senha do usuário que o serviço do Dataproc Metastore vai usar para se conectar ao banco de dados. Este campo não é retornado na solicitação. |
proxy_subnet |
Obrigatório. O nome do recurso relativo da sub-rede em que o serviço de proxy SOCKS5 será implantado. A sub-rede precisa estar em uma rede em que a instância do Cloud SQL seja acessível. O nome do recurso precisa estar no formato |
nat_subnet |
Obrigatório. O nome do recurso relativo da sub-rede a ser usado para o Private Service Connect. Essa sub-rede não pode ser padrão e é usada apenas para NAT. (https://cloud.google.com/vpc/docs/about-vpc-hosted-services#psc-subnets) Ela é usada para publicar o serviço de proxy SOCKS5. O tamanho da sub-rede precisa ser de pelo menos |
Fase
A fase atual da execução da migração.
Enums | |
---|---|
PHASE_UNSPECIFIED |
A fase da execução da migração é desconhecida. |
REPLICATION |
A fase de replicação se refere à fase de migração em que o Dataproc Metastore está executando um pipeline para replicar as mudanças no banco de dados do cliente para o banco de dados de back-end. Durante essa fase, o Dataproc Metastore usa o banco de dados do cliente como o banco de dados de back-end do metastore Hive. |
CUTOVER |
A fase de transição se refere à fase de migração em que o Dataproc Metastore passa a usar o próprio banco de dados de back-end. A migração entra nessa fase quando o cliente termina de migrar todos os clusters/cargas de trabalho para o metastore do Dataproc e aciona CompleteMigration . |
Estado
O estado atual da execução da migração.
Enums | |
---|---|
STATE_UNSPECIFIED |
O estado da execução da migração é desconhecido. |
STARTING |
A execução da migração está começando. |
RUNNING |
A execução da migração está em andamento. |
CANCELLING |
A execução da migração está sendo cancelada. |
AWAITING_USER_ACTION |
A execução da migração está aguardando ação do usuário. |
SUCCEEDED |
A execução da migração foi concluída. |
FAILED |
A execução da migração falhou. |
CANCELLED |
A execução da migração é cancelada. |
DELETING |
A execução da migração está sendo excluída. |
MoveTableToDatabaseRequest
Mensagem de solicitação para DataprocMetastore.MoveTableToDatabase
.
Campos | |
---|---|
service |
Obrigatório. O nome do recurso relativo do serviço do metastore para modificar metadados, no seguinte formato:
A autorização requer a seguinte permissão do IAM no recurso especificado
|
table_name |
Obrigatório. O nome da tabela a ser movida. |
db_name |
Obrigatório. O nome do banco de dados em que a tabela está. |
destination_db_name |
Obrigatório. O nome do banco de dados para onde a tabela será movida. |
MoveTableToDatabaseResponse
Esse tipo não tem campos.
Mensagem de resposta para DataprocMetastore.MoveTableToDatabase
.
MultiRegionConfig
A configuração de várias regiões para o serviço do metastore do Dataproc.
Campos | |
---|---|
certificates[] |
Apenas saída. A lista de certificados de AC raiz que um cliente gRPC usa para se conectar a um serviço de metastore do Dataproc multirregional. |
custom_region_config |
CustomRegionConfig
Configuração personalizada usada para especificar as regiões em que o serviço de metastore é executado. No momento, esse recurso está disponível apenas na região múltipla us
.
Campos | |
---|---|
read_write_regions[] |
Obrigatório. A lista de regiões de leitura e gravação em que o serviço de metastore é executado. Essas regiões precisam fazer parte (ou ser um subconjunto) da multirregião. |
read_only_regions[] |
Opcional. A lista de regiões somente leitura em que o serviço de metastore é executado. Essas regiões precisam fazer parte (ou ser um subconjunto) da multirregião. |
RootCACertificate
Um cliente gRPC precisa instalar todos os certificados de AC raiz para se conectar a um serviço do Dataproc Metastore multirregional e conseguir o failover.
Campos | |
---|---|
certificate |
O certificado da CA raiz no formato PEM. O comprimento máximo é de 65.536 bytes. |
expiration_time |
O tempo de expiração do certificado no formato de carimbo de data/hora. |
NetworkConfig
Configuração de rede para o serviço do metastore do Dataproc.
Campos | |
---|---|
consumers[] |
Imutável. A configuração de rede do lado do consumidor para a instância do metastore do Dataproc. |
custom_routes_enabled |
Permite que as rotas personalizadas sejam importadas e exportadas para a rede VPC com peering do serviço do Dataproc Metastore. |
Consumidor
Contém informações sobre as configurações de rede do cliente.
Campos | |
---|---|
endpoint_uri |
Apenas saída. O URI do endpoint usado para acessar o serviço do metastore. |
endpoint_location |
Apenas saída. O local do URI do endpoint. Formato: |
Campo de união
|
|
subnetwork |
Imutável. A sub-rede do projeto do cliente em que um endereço IP é reservado e usado como o endpoint do serviço do metastore do Dataproc. Ele é acessível para hosts na sub-rede e para todos os hosts em uma sub-rede na mesma região e na mesma rede. É preciso que pelo menos um endereço IP esteja disponível no intervalo principal da sub-rede. A sub-rede é especificada no seguinte formulário:
|
OperationMetadata
Representa os metadados de uma operação de longa duração.
Campos | |
---|---|
create_time |
Somente saída: a hora em que a operação foi criada. |
end_time |
Somente saída: a hora em que a operação terminou de ser executada. |
target |
Apenas saída. Caminho do recurso definido pelo servidor para o destino da operação. |
verb |
Apenas saída. Nome do verbo executado pela operação. |
status_message |
Apenas saída. Status legível da operação, caso haja um. |
requested_cancellation |
Apenas saída. Identifica se o autor da chamada solicitou o cancelamento da operação. As operações que foram canceladas com êxito têm o valor [Operation.error][] com um |
api_version |
Apenas saída. Versão da API usada para iniciar a operação. |
QueryMetadataRequest
Mensagem de solicitação para DataprocMetastore.QueryMetadata
.
Campos | |
---|---|
service |
Obrigatório. O nome do recurso relativo do serviço do metastore para consultar metadados, no seguinte formato:
A autorização requer a seguinte permissão do IAM no recurso especificado
|
query |
Obrigatório. Uma consulta SQL somente leitura para executar no banco de dados de metadados. A consulta não pode mudar ou modificar os dados. |
QueryMetadataResponse
Mensagem de resposta para DataprocMetastore.QueryMetadata
.
Campos | |
---|---|
result_manifest_uri |
O URI do manifesto é vinculado a uma instância JSON no Cloud Storage. Essa instância é manifestada imediatamente com a QueryMetadataResponse. O conteúdo do URI não pode ser recuperado até que a consulta de operação de longa duração nos metadados seja concluída. |
RemoveIamPolicyRequest
Mensagem de solicitação para DataprocMetastore.RemoveIamPolicy
.
Campos | |
---|---|
resource |
Obrigatório. O nome do recurso relativo do plano de dados para remover a política do IAM, no seguinte formato:
|
asynchronous |
Opcional. Remove a política do IAM anexada ao banco de dados ou à tabela de forma assíncrona quando ela é definida. O valor padrão é falso. |
RemoveIamPolicyResponse
Mensagem de resposta para DataprocMetastore.RemoveIamPolicy
.
Campos | |
---|---|
success |
Verdadeiro se a política for removida. |
Restaurar
Detalhes de uma operação de restauração de metadados.
Campos | |
---|---|
start_time |
Apenas saída. Hora em que a restauração começou. |
end_time |
Apenas saída. O horário em que a restauração foi concluída. |
state |
Apenas saída. O estado atual da restauração. |
backup |
Apenas saída. O nome do recurso relativo do backup do serviço do metastore a ser restaurado, neste formato:
|
type |
Apenas saída. O tipo de restauração. |
details |
Apenas saída. Os detalhes de restauração que contêm a revisão do serviço a ser restaurado, no formato JSON. |
backup_location |
Opcional. Um URI do Cloud Storage que especifica onde os artefatos de backup são armazenados, no formato |
RestoreType
O tipo de restauração. Se não for especificado, METADATA_ONLY
assumirá como padrão.
Enums | |
---|---|
RESTORE_TYPE_UNSPECIFIED |
O tipo de restauração é desconhecido. |
FULL |
Os metadados e a configuração do serviço são restaurados. |
METADATA_ONLY |
Somente os metadados do serviço são restaurados. |
Estado
O estado atual da restauração.
Enums | |
---|---|
STATE_UNSPECIFIED |
O estado da restauração de metadados é desconhecido. |
RUNNING |
A restauração de metadados está em execução. |
SUCCEEDED |
A restauração de metadados foi concluída. |
FAILED |
Falha na restauração de metadados. |
CANCELLED |
A restauração de metadados é cancelada. |
RestoreServiceRequest
Mensagem de solicitação para [DataprocMetastore.Restore][].
Campos | |
---|---|
service |
Obrigatório. O nome do recurso relativo do serviço do metastore para executar a restauração, no seguinte formato:
A autorização requer a seguinte permissão do IAM no recurso especificado
|
backup |
Opcional. O nome do recurso relativo do backup do serviço do metastore a ser restaurado, neste formato:
A autorização requer a seguinte permissão do IAM no recurso especificado
|
backup_location |
Opcional. Um URI do Cloud Storage que especifica o local dos artefatos de backup, ou seja, arquivos avro de backup em "avro/", backup_metastore.json e service.json, no seguinte formato:
|
restore_type |
Opcional. O tipo de restauração. Se não for especificado, |
request_id |
Opcional. Um ID de solicitação. Especifique um ID de solicitação exclusivo para permitir que o servidor ignore a solicitação se ela for concluída. O servidor vai ignorar as solicitações subsequentes que fornecem um ID de solicitação duplicado por pelo menos 60 minutos após a primeira solicitação. Por exemplo, se uma solicitação inicial expirar, seguida por outra com o mesmo ID, o servidor vai ignorar a segunda solicitação para evitar a criação de compromissos duplicados. O ID da solicitação precisa ser um UUID válido. Não é possível usar um UUID zero (00000000-0000-0000-0000-000000000000). |
ScalingConfig
Representa a configuração de escalonamento de um serviço de metastore.
Campos | |
---|---|
autoscaling_config |
Opcional. A configuração do escalonamento automático. |
Campo de união scaling_model . Representa um tamanho de instância predeterminado ou um fator de escalonamento numérico. scaling_model pode ser apenas de um dos tipos a seguir: |
|
instance_size |
Um tipo enumerado de tamanhos de instância legíveis, com cada tamanho de instância mapeado para um valor de ponto flutuante (por exemplo, InstanceSize.EXTRA_SMALL = escala_fator(0,1)) |
scaling_factor |
Fator de escalonamento, incrementos de 0,1 para valores menores que 1,0 e incrementos de 1,0 para valores maiores que 1,0. |
InstanceSize
Tamanhos de instâncias do Metastore.
Enums | |
---|---|
INSTANCE_SIZE_UNSPECIFIED |
Tamanho da instância não especificado |
EXTRA_SMALL |
Tamanho de instância extrapequeno, mapeado para um fator de escalonamento de 0,1. |
SMALL |
Tamanho de instância pequeno, mapeado para um fator de escalonamento de 0,5. |
MEDIUM |
Tamanho de instância médio, mapeado para um fator de escalonamento de 1,0. |
LARGE |
Tamanho de instância grande, mapeado para um fator de escalonamento de 3,0. |
EXTRA_LARGE |
Tamanho de instância extra grande, mapeado para um fator de escalonamento de 6,0. |
ScheduledBackup
Especifica a configuração do backup programado.
Campos | |
---|---|
enabled |
Opcional. Define se o backup programado está ativado. O valor padrão é falso. |
cron_schedule |
Opcional. O intervalo programado no formato Cron. Consulte https://pt.wikipedia.org/wiki/Cron O padrão é vazio: o backup programado não está ativado. Precisa ser especificado para ativar os backups programados. |
time_zone |
Opcional. Especifica o fuso horário a ser usado ao interpretar cron_schedule. Precisa ser um nome de fuso horário do banco de dados de fusos horários (https://en.wikipedia.org/wiki/List_of_tz_database_time_zones), por exemplo, "America/Los_Angeles" ou "Africa/Abidjan". Se não for especificado, o padrão será UTC. |
next_scheduled_time |
Apenas saída. A hora em que a próxima execução de backups está programada para começar. |
backup_location |
Opcional. Um URI do Cloud Storage de uma pasta, no formato |
latest_backup |
Apenas saída. Os detalhes do último backup programado. |
Secret
Um valor armazenado com segurança.
Campos | |
---|---|
Campo de união
|
|
cloud_secret |
O nome do recurso relativo de uma versão do secret do Secret Manager, neste formato:
|
Serviço
Um serviço de metastore gerenciado que atende consultas de metadados.
Campos | |
---|---|
name |
Imutável. O nome do recurso relativo do serviço de metastore, no seguinte formato:
|
create_time |
Apenas saída. O horário em que o serviço de metastore foi criado. |
update_time |
Apenas saída. A hora em que o serviço da metastore foi atualizado pela última vez. |
labels |
Rótulos definidos pelo usuário para o serviço de metastore. |
network |
Imutável. O nome do recurso relativo da rede VPC em que a instância pode ser acessada. Ele é especificado da seguinte forma:
|
endpoint_uri |
Apenas saída. O URI do endpoint usado para acessar o serviço do metastore. |
port |
A porta TCP em que o serviço do metastore é alcançada. Padrão: 9083 |
state |
Apenas saída. O estado atual do serviço da metastore. |
state_message |
Apenas saída. Outras informações sobre o estado atual do serviço de metastore, se disponíveis. |
artifact_gcs_uri |
Apenas saída. Um URI do Cloud Storage (começando com |
tier |
O nível do serviço. |
metadata_integration |
Opcional. A configuração que define como os metadados do metastore precisam ser integrados a serviços e sistemas externos. |
maintenance_window |
Janela de manutenção de uma hora do serviço da metastore. Isso especifica quando o serviço pode ser reiniciado para fins de manutenção no horário UTC. A janela de manutenção não é necessária para serviços com o tipo de banco de dados SPANNER. |
uid |
Apenas saída. O identificador de recurso globalmente exclusivo do serviço de metastore. |
metadata_management_activity |
Apenas saída. As atividades de gerenciamento de metadados do serviço de metastore. |
release_channel |
Imutável. O canal de lançamento do serviço. Se não for especificado, |
encryption_config |
Imutável. Informações usadas para configurar o serviço do Dataproc Metastore para criptografar os dados do cliente em repouso. Não foi possível atualizar. |
network_config |
A configuração que especifica as configurações de rede para o serviço do metastore do Dataproc. |
database_type |
Imutável. O tipo de banco de dados em que o serviço do Metastore armazena os dados. |
telemetry_config |
A configuração que especifica as configurações de telemetria para o serviço Metastore do Dataproc. Se não for especificado, |
scaling_config |
Configurações de escalonamento do serviço de metastore. |
multi_region_config |
Opcional. Especifica as informações de configuração multirregional para o serviço de metastore do Hive. |
scheduled_backup |
Opcional. A configuração do backup programado para o serviço de metastore. |
deletion_protection |
Opcional. Indica se o metastore do Dataproc precisa ser protegido contra exclusões acidentais. |
Campo de união metastore_config . Propriedades de configuração específicas da tecnologia de serviço de metastore (o software que atende consultas de metastore). metastore_config pode ser apenas de um dos tipos a seguir: |
|
hive_metastore_config |
Informações de configuração específicas para executar o software do metastore do Hive como o serviço de metastore. |
DatabaseType
O tipo de banco de dados de back-end do serviço de metastore.
Enums | |
---|---|
DATABASE_TYPE_UNSPECIFIED |
O DATABASE_TYPE não está definido. |
MYSQL |
O MySQL é usado para manter os dados da metastore. |
SPANNER |
O Spanner é usado para manter os dados da metastore. |
ReleaseChannel
Os canais de lançamento agrupam recursos de diferentes níveis de estabilidade. Os recursos mais recentes podem ser introduzidos inicialmente em canais de lançamento menos estáveis e promovidos automaticamente para canais de lançamento mais estáveis.
Enums | |
---|---|
RELEASE_CHANNEL_UNSPECIFIED |
O canal de lançamento não foi especificado. |
CANARY |
O canal de lançamento CANARY contém os recursos mais recentes, que podem ser instáveis e estar sujeitos a problemas não resolvidos sem soluções alternativas conhecidas. Os serviços que usam o canal de lançamento CANARY não estão sujeitos a nenhum SLA. |
STABLE |
O canal de lançamento STABLE contém recursos considerados estáveis e que foram validados para uso em produção. |
Estado
O estado atual do serviço da metastore.
Enums | |
---|---|
STATE_UNSPECIFIED |
O estado do serviço de metastore é desconhecido. |
CREATING |
O serviço de metastore está em processo de criação. |
ACTIVE |
O serviço da metastore está em execução e pronto para atender consultas. |
SUSPENDING |
O serviço de metastore está entrando em suspensão. A disponibilidade de fornecimento de consultas pode ser interrompida inesperadamente. |
SUSPENDED |
O serviço da metastore está suspenso e não pode atender consultas. |
UPDATING |
O serviço da metastore está sendo atualizado. Ele continua utilizável, mas não é possível aceitar outras solicitações de atualização nem excluí-lo no momento. |
DELETING |
O serviço de metastore está sendo excluído. Não é possível usar. |
ERROR |
O serviço de metastore encontrou um erro e não pode ser usado. O serviço da metastore precisa ser excluído. |
AUTOSCALING |
O serviço Metastore do Dataproc 2 está sendo dimensionado para cima ou para baixo. |
MIGRATING |
O serviço de metastore está processando uma migração gerenciada. |
Nível
Níveis de serviço disponíveis.
Enums | |
---|---|
TIER_UNSPECIFIED |
A categoria não foi definida. |
DEVELOPER |
O nível do desenvolvedor oferece escalonabilidade limitada e nenhuma tolerância a falhas. Isso é bom para provas de conceito de baixo custo. |
ENTERPRISE |
O nível empresarial oferece alta disponibilidade em várias zonas e escalabilidade suficiente para cargas de trabalho do Dataproc Metastore de nível empresarial. |
StartMigrationRequest
Mensagem de solicitação para DataprocMetastore.StartMigration
.
Campos | |
---|---|
service |
Obrigatório. O nome do recurso relativo do serviço de metastore para iniciar a migração, no seguinte formato:
A autorização requer a seguinte permissão do IAM no recurso especificado
|
migration_execution |
Obrigatório. Os detalhes de configuração da migração. |
request_id |
Opcional. Um ID de solicitação. Especifique um ID de solicitação exclusivo para permitir que o servidor ignore a solicitação se ela for concluída. O servidor vai ignorar as solicitações subsequentes que fornecem um ID de solicitação duplicado por pelo menos 60 minutos após a primeira solicitação. Por exemplo, se uma solicitação inicial expirar, seguida por outra com o mesmo ID, o servidor vai ignorar a segunda solicitação para evitar a criação de compromissos duplicados. O ID da solicitação precisa ser um UUID válido. Não é possível usar um UUID zero (00000000-0000-0000-0000-000000000000). |
TelemetryConfig
Configuração de telemetria para o serviço do metastore do Dataproc.
Campos | |
---|---|
log_format |
O formato de saída dos registros do serviço Metastore do Dataproc. |
LogFormat
Enums | |
---|---|
LOG_FORMAT_UNSPECIFIED |
O LOG_FORMAT não está definido. |
LEGACY |
A saída de registro usa o formato textPayload legado. |
JSON |
A saída de registro usa o formato jsonPayload . |
UpdateFederationRequest
Mensagem de solicitação para UpdateFederation.
Campos | |
---|---|
update_mask |
Obrigatório. Uma máscara de campo usada para especificar os campos a serem substituídos no recurso de federação de metastore pela atualização. Os campos especificados em |
federation |
Obrigatório. A federação de metastore a ser atualizada. O servidor só mescla campos no serviço se eles forem especificados em O campo A autorização requer a seguinte permissão do IAM no recurso especificado
|
request_id |
Opcional. Um ID de solicitação. Especifique um ID de solicitação exclusivo para permitir que o servidor ignore a solicitação se ela for concluída. O servidor vai ignorar as solicitações subsequentes que fornecem um ID de solicitação duplicado por pelo menos 60 minutos após a primeira solicitação. Por exemplo, se uma solicitação inicial expirar, seguida por outra com o mesmo ID, o servidor vai ignorar a segunda solicitação para evitar a criação de compromissos duplicados. O ID da solicitação precisa ser um UUID válido. Não é possível usar um UUID zero (00000000-0000-0000-0000-000000000000). |
UpdateMetadataImportRequest
Mensagem de solicitação para DataprocMetastore.UpdateMetadataImport
.
Campos | |
---|---|
update_mask |
Obrigatório. Uma máscara de campo usada para especificar os campos a serem substituídos no recurso de importação de metadados pela atualização. Os campos especificados em |
metadata_import |
Obrigatório. A importação de metadados a ser atualizada. O servidor só mescla campos na importação se eles forem especificados em O campo A autorização requer a seguinte permissão do IAM no recurso especificado
|
request_id |
Opcional. Um ID de solicitação. Especifique um ID de solicitação exclusivo para permitir que o servidor ignore a solicitação se ela for concluída. O servidor vai ignorar as solicitações subsequentes que fornecem um ID de solicitação duplicado por pelo menos 60 minutos após a primeira solicitação. Por exemplo, se uma solicitação inicial expirar, seguida por outra com o mesmo ID, o servidor vai ignorar a segunda solicitação para evitar a criação de compromissos duplicados. O ID da solicitação precisa ser um UUID válido. Não é possível usar um UUID zero (00000000-0000-0000-0000-000000000000). |
UpdateServiceRequest
Mensagem de solicitação para DataprocMetastore.UpdateService
.
Campos | |
---|---|
update_mask |
Obrigatório. Uma máscara de campo usada para especificar os campos a serem substituídos no recurso de serviço do metastore pela atualização. Os campos especificados em |
service |
Obrigatório. O serviço de metastore a ser atualizado. O servidor só mescla campos no serviço se eles forem especificados em O campo A autorização requer a seguinte permissão do IAM no recurso especificado
|
request_id |
Opcional. Um ID de solicitação. Especifique um ID de solicitação exclusivo para permitir que o servidor ignore a solicitação se ela for concluída. O servidor vai ignorar as solicitações subsequentes que fornecem um ID de solicitação duplicado por pelo menos 60 minutos após a primeira solicitação. Por exemplo, se uma solicitação inicial expirar, seguida por outra com o mesmo ID, o servidor vai ignorar a segunda solicitação para evitar a criação de compromissos duplicados. O ID da solicitação precisa ser um UUID válido. Não é possível usar um UUID zero (00000000-0000-0000-0000-000000000000). |