Package google.cloud.metastore.v1beta

索引

DataprocMetastore

設定及管理元資料庫服務。Metastore 服務是技術中繼資料管理軟體的全代管、高可用性、自動調整、自動修復的 OSS 原生部署作業。每個中繼資料服務都會公開網路端點,以便提供中繼資料查詢。中繼資料查詢可以來自各種來源,包括 Apache Hive、Apache Presto 和 Apache Spark。

Dataproc Metastore API 定義了下列資源模型:

  • 這項服務可與以下 Google Cloud 專案集合搭配運作:/projects/*
  • 每個專案都有一組可用位置,名稱為 /locations/* (位置必須參照 Google Cloud region)
  • 每個位置都有一組服務,名稱為 /services/*
  • Dataproc Metastore 服務是資源,名稱格式如下:

/projects/{project_number}/locations/{location_id}/services/{service_id}

AlterMetadataResourceLocation

rpc AlterMetadataResourceLocation(AlterMetadataResourceLocationRequest) returns (Operation)

變更中繼資料資源位置。中繼資料資源可以是資料庫、資料表或分區。這項功能只會更新相應中繼資料資源的父項目錄,不會將任何現有資料轉移至新位置。

授權範圍

需要下列 OAuth 範圍:

  • https://www.googleapis.com/auth/cloud-platform

詳情請參閱驗證總覽一文。

AlterTableProperties

rpc AlterTableProperties(AlterTablePropertiesRequest) returns (Operation)

變更中繼資料表屬性。

授權範圍

需要下列 OAuth 範圍:

  • https://www.googleapis.com/auth/cloud-platform

詳情請參閱驗證總覽一文。

CancelMigration

rpc CancelMigration(CancelMigrationRequest) returns (Operation)

取消進行中的受管理遷移程序。

授權範圍

需要下列 OAuth 範圍:

  • https://www.googleapis.com/auth/cloud-platform

詳情請參閱驗證總覽一文。

CompleteMigration

rpc CompleteMigration(CompleteMigrationRequest) returns (Operation)

完成受管理的遷移程序。遷移作業完成後,Dataproc Metastore 服務會改用自己的後端資料庫。

授權範圍

需要下列 OAuth 範圍:

  • https://www.googleapis.com/auth/cloud-platform

詳情請參閱驗證總覽一文。

CreateBackup

rpc CreateBackup(CreateBackupRequest) returns (Operation)

在指定的專案和位置建立新的備份。

授權範圍

需要下列 OAuth 範圍:

  • https://www.googleapis.com/auth/cloud-platform

詳情請參閱驗證總覽一文。

CreateMetadataImport

rpc CreateMetadataImport(CreateMetadataImportRequest) returns (Operation)

在指定專案和位置中建立新的 MetadataImport。

授權範圍

需要下列 OAuth 範圍:

  • https://www.googleapis.com/auth/cloud-platform

詳情請參閱驗證總覽一文。

CreateService

rpc CreateService(CreateServiceRequest) returns (Operation)

在專案和位置中建立 Metastore 服務。

授權範圍

需要下列 OAuth 範圍:

  • https://www.googleapis.com/auth/cloud-platform

詳情請參閱驗證總覽一文。

DeleteBackup

rpc DeleteBackup(DeleteBackupRequest) returns (Operation)

刪除單一備份。

授權範圍

需要下列 OAuth 範圍:

  • https://www.googleapis.com/auth/cloud-platform

詳情請參閱驗證總覽一文。

DeleteMigrationExecution

rpc DeleteMigrationExecution(DeleteMigrationExecutionRequest) returns (Operation)

刪除單一遷移執行作業。

授權範圍

需要下列 OAuth 範圍:

  • https://www.googleapis.com/auth/cloud-platform

詳情請參閱驗證總覽一文。

DeleteService

rpc DeleteService(DeleteServiceRequest) returns (Operation)

刪除單一服務。

授權範圍

需要下列 OAuth 範圍:

  • https://www.googleapis.com/auth/cloud-platform

詳情請參閱驗證總覽一文。

ExportMetadata

rpc ExportMetadata(ExportMetadataRequest) returns (Operation)

匯出服務中的中繼資料。

授權範圍

需要下列 OAuth 範圍:

  • https://www.googleapis.com/auth/cloud-platform

詳情請參閱驗證總覽一文。

GetBackup

rpc GetBackup(GetBackupRequest) returns (Backup)

取得單一備份的詳細資料。

授權範圍

需要下列 OAuth 範圍:

  • https://www.googleapis.com/auth/cloud-platform

詳情請參閱驗證總覽一文。

GetMetadataImport

rpc GetMetadataImport(GetMetadataImportRequest) returns (MetadataImport)

取得單一匯入作業的詳細資料。

授權範圍

需要下列 OAuth 範圍:

  • https://www.googleapis.com/auth/cloud-platform

詳情請參閱驗證總覽一文。

GetMigrationExecution

rpc GetMigrationExecution(GetMigrationExecutionRequest) returns (MigrationExecution)

取得單一遷移執行作業的詳細資料。

授權範圍

需要下列 OAuth 範圍:

  • https://www.googleapis.com/auth/cloud-platform

詳情請參閱驗證總覽一文。

GetService

rpc GetService(GetServiceRequest) returns (Service)

取得單一服務的詳細資料。

授權範圍

需要下列 OAuth 範圍:

  • https://www.googleapis.com/auth/cloud-platform

詳情請參閱驗證總覽一文。

ListBackups

rpc ListBackups(ListBackupsRequest) returns (ListBackupsResponse)

列出服務中的備份。

授權範圍

需要下列 OAuth 範圍:

  • https://www.googleapis.com/auth/cloud-platform

詳情請參閱驗證總覽一文。

ListMetadataImports

rpc ListMetadataImports(ListMetadataImportsRequest) returns (ListMetadataImportsResponse)

列出服務中的匯入項目。

授權範圍

需要下列 OAuth 範圍:

  • https://www.googleapis.com/auth/cloud-platform

詳情請參閱驗證總覽一文。

ListMigrationExecutions

rpc ListMigrationExecutions(ListMigrationExecutionsRequest) returns (ListMigrationExecutionsResponse)

列出服務上的遷移執行作業。

授權範圍

需要下列 OAuth 範圍:

  • https://www.googleapis.com/auth/cloud-platform

詳情請參閱驗證總覽一文。

ListServices

rpc ListServices(ListServicesRequest) returns (ListServicesResponse)

列出專案和位置中的服務。

授權範圍

需要下列 OAuth 範圍:

  • https://www.googleapis.com/auth/cloud-platform

詳情請參閱驗證總覽一文。

MoveTableToDatabase

rpc MoveTableToDatabase(MoveTableToDatabaseRequest) returns (Operation)

將資料表移至其他資料庫。

授權範圍

需要下列 OAuth 範圍:

  • https://www.googleapis.com/auth/cloud-platform

詳情請參閱驗證總覽一文。

QueryMetadata

rpc QueryMetadata(QueryMetadataRequest) returns (Operation)

查詢 Dataproc Metastore 中繼資料。

授權範圍

需要下列 OAuth 範圍:

  • https://www.googleapis.com/auth/cloud-platform

詳情請參閱驗證總覽一文。

RemoveIamPolicy

rpc RemoveIamPolicy(RemoveIamPolicyRequest) returns (RemoveIamPolicyResponse)

移除資源的已附加 IAM 政策

授權範圍

需要下列 OAuth 範圍:

  • https://www.googleapis.com/auth/cloud-platform

詳情請參閱驗證總覽一文。

RestoreService

rpc RestoreService(RestoreServiceRequest) returns (Operation)

從備份還原服務。

授權範圍

需要下列 OAuth 範圍:

  • https://www.googleapis.com/auth/cloud-platform

詳情請參閱驗證總覽一文。

StartMigration

rpc StartMigration(StartMigrationRequest) returns (Operation)

啟動受管理遷移程序。

授權範圍

需要下列 OAuth 範圍:

  • https://www.googleapis.com/auth/cloud-platform

詳情請參閱驗證總覽一文。

UpdateMetadataImport

rpc UpdateMetadataImport(UpdateMetadataImportRequest) returns (Operation)

更新單一匯入項目。系統只支援更新 MetadataImport 的說明欄位。

授權範圍

需要下列 OAuth 範圍:

  • https://www.googleapis.com/auth/cloud-platform

詳情請參閱驗證總覽一文。

UpdateService

rpc UpdateService(UpdateServiceRequest) returns (Operation)

更新單一服務的參數。

授權範圍

需要下列 OAuth 範圍:

  • https://www.googleapis.com/auth/cloud-platform

詳情請參閱驗證總覽一文。

DataprocMetastoreFederation

設定及管理元資料庫聯合服務。Dataproc Metastore 聯合服務可將 BigQuery、Dataplex 湖泊和其他 Dataproc Metastore 等後端中繼資料庫彙整起來。聯合服務會公開 gRPC 網址,透過該網址在查詢時提供後端中繼存放區的中繼資料。

Dataproc Metastore Federation API 定義了下列資源模型:* 這項服務可與一系列 Google Cloud 專案搭配使用。* 每個專案都有一組可用地點。* 每個地點都有一組聯合體。* Dataproc Metastore Federation 是資源,名稱格式為 projects/{project_number}/locations/{location_id}/federations/{federation_id}

CreateFederation

rpc CreateFederation(CreateFederationRequest) returns (Operation)

在專案和位置中建立元資料庫聯合。

授權範圍

需要下列 OAuth 範圍:

  • https://www.googleapis.com/auth/cloud-platform

詳情請參閱驗證總覽一文。

DeleteFederation

rpc DeleteFederation(DeleteFederationRequest) returns (Operation)

刪除單一聯盟。

授權範圍

需要下列 OAuth 範圍:

  • https://www.googleapis.com/auth/cloud-platform

詳情請參閱驗證總覽一文。

GetFederation

rpc GetFederation(GetFederationRequest) returns (Federation)

取得單一聯合作業的詳細資料。

授權範圍

需要下列 OAuth 範圍:

  • https://www.googleapis.com/auth/cloud-platform

詳情請參閱驗證總覽一文。

ListFederations

rpc ListFederations(ListFederationsRequest) returns (ListFederationsResponse)

列出專案和位置中的聯合作業。

授權範圍

需要下列 OAuth 範圍:

  • https://www.googleapis.com/auth/cloud-platform

詳情請參閱驗證總覽一文。

UpdateFederation

rpc UpdateFederation(UpdateFederationRequest) returns (Operation)

更新聯邦的欄位。

授權範圍

需要下列 OAuth 範圍:

  • https://www.googleapis.com/auth/cloud-platform

詳情請參閱驗證總覽一文。

AlterMetadataResourceLocationRequest

DataprocMetastore.AlterMetadataResourceLocation 的要求訊息。

欄位
service

string

這是必要旗標,要修改中繼資料的中繼資料儲存庫服務的相對資源名稱,格式如下:

projects/{project_id}/locations/{location_id}/services/{service_id}

授權需要指定資源 service 的下列 IAM 權限:

  • metastore.services.mutateMetadata
resource_name

string

這是必要旗標,相對中繼資料資源名稱,格式如下。

databases/{database_id}databases/{database_id}/tables/{table_id}databases/{database_id}/tables/{table_id}/partitions/{partition_id}

location_uri

string

這是必要旗標,中繼資料資源的新位置 URI。

AlterMetadataResourceLocationResponse

這個類型沒有任何欄位。

DataprocMetastore.AlterMetadataResourceLocation 的回應訊息。

AlterTablePropertiesRequest

DataprocMetastore.AlterTableProperties 的要求訊息。

欄位
service

string

這是必要旗標,用於修改中繼資料資料表屬性的 Dataproc Metastore 服務相對資源名稱,格式如下:

projects/{project_id}/locations/{location_id}/services/{service_id}

授權需要指定資源 service 的下列 IAM 權限:

  • metastore.services.mutateMetadata
table_name

string

這是必要旗標,包含您要修改的屬性資料表名稱,格式如下。

databases/{database_id}/tables/{table_id}

update_mask

FieldMask

欄位遮罩會指定更新會覆寫的中繼資料表屬性。update_mask 中指定的欄位是相對於資源 (而非整個要求)。如果欄位位於遮罩中,就會遭到覆寫。

舉例來說,假設有以下目標屬性:

properties {
  a: 1
  b: 2
}

以及更新屬性:

properties {
  a: 2
  b: 3
  c: 4
}

則如果欄位遮罩為:

paths: ["properties.b", "properties.c"]

結果會是:

properties {
  a: 1
  b: 3
  c: 4
}
properties

map<string, string>

描述要變異的所需值的對應項目。如果 update_mask 為空白,系統就不會更新屬性。否則,屬性只會變更更新遮罩中相關聯路徑的值

AlterTablePropertiesResponse

這個類型沒有任何欄位。

DataprocMetastore.AlterTableProperties 的回應訊息。

AutoscalingConfig

代表 Metastore 服務的自動調度資源設定。

欄位
autoscaling_factor

float

僅供輸出。已啟用自動調度資源功能的服務縮放因數。

autoscaling_enabled

bool

(非必要) 是否為這項服務啟用自動調度資源功能。

limit_config

LimitConfig

(非必要) 服務的 LimitConfig。

AuxiliaryVersionConfig

輔助服務版本的設定資訊。

欄位
version

string

輔助服務的 Hive 中繼儲存庫版本。必須低於主要 Hive 中繼存放區服務的版本。

config_overrides

map<string, string>

除了主要版本的覆寫值外,也要套用至輔助 Hive 中繼儲存庫 (在 hive-site.xml 中設定) 的 Hive 中繼儲存庫設定鍵/值組合的對應關係。如果輔助版本的覆寫值和主要版本的覆寫值都包含鍵,則輔助版本的覆寫值優先。

network_config

NetworkConfig

僅供輸出。網路設定包含輔助 Hive 中繼儲存庫服務的端點 URI。

BackendMetastore

代表聯合資料的後端元資料儲存庫。

欄位
name

string

要聯結的中繼存放區的相對資源名稱。以下列出目前支援的中介資料儲存庫的相對資源名稱格式:

  • BigQuery
    • projects/{project_id}
  • Dataproc 中繼存放區
    • projects/{project_id}/locations/{location}/services/{service_id}
metastore_type

MetastoreType

後端元資料儲存庫的類型。

MetastoreType

後端元資料儲存庫的類型。

列舉
METASTORE_TYPE_UNSPECIFIED 未設定元資料庫類型。
DATAPLEX 後端中繼儲存庫為 Dataplex。
BIGQUERY 後端中繼資料儲存庫是 BigQuery。
DATAPROC_METASTORE 後端元資料儲存庫是 Dataproc Metastore。

備份

備份資源的詳細資料。

欄位
name

string

不可變動。備份的相對資源名稱,格式如下:

projects/{project_number}/locations/{location_id}/services/{service_id}/backups/{backup_id}

create_time

Timestamp

僅供輸出。開始備份的時間。

end_time

Timestamp

僅供輸出。備份完成建立的時間。

state

State

僅供輸出。備份的目前狀態。

service_revision

Service

僅供輸出。備份時的服務修訂版本。

description

string

備份的說明。

restoring_services[]

string

僅供輸出。從備份還原的服務。

狀態

備份的目前狀態。

列舉
STATE_UNSPECIFIED 備份作業狀態不明。
CREATING 系統正在建立備份。
DELETING 正在刪除備份。
ACTIVE 備份已啟用,可供使用。
FAILED 備份失敗。
RESTORING 正在還原備份。

CancelMigrationRequest

DataprocMetastore.CancelMigration 的要求訊息。

欄位
service

string

這是必要旗標,要取消遷移至的相對 Metastore 服務資源名稱,格式如下:

projects/{project_id}/locations/{location_id}/services/{service_id}

授權需要指定資源 service 的下列 IAM 權限:

  • metastore.migrations.cancel

CancelMigrationResponse

DataprocMetastore.CancelMigration 的回應訊息。

欄位
migration_execution

string

遷移執行作業的相對資源名稱,格式如下:

projects/{project_number}/locations/{location_id}/services/{service_id}/migrationExecutions/{migration_execution_id}

CompleteMigrationRequest

DataprocMetastore.CompleteMigration 的要求訊息。

欄位
service

string

這是必要旗標,要完成遷移的 Metastore 服務相對資源名稱,格式如下:

projects/{project_id}/locations/{location_id}/services/{service_id}

授權需要指定資源 service 的下列 IAM 權限:

  • metastore.migrations.complete

CompleteMigrationResponse

DataprocMetastore.CompleteMigration 的回應訊息。

欄位
migration_execution

string

遷移執行作業的相對資源名稱,格式如下:

projects/{project_number}/locations/{location_id}/services/{service_id}/migrationExecutions/{migration_execution_id}

CreateBackupRequest

DataprocMetastore.CreateBackup 的要求訊息。

欄位
parent

string

這是必要旗標,要建立備份的服務相對資源名稱,格式如下:

projects/{project_number}/locations/{location_id}/services/{service_id}

授權需要指定資源 parent 的下列 IAM 權限:

  • metastore.backups.create
backup_id

string

這是必要旗標,備份的 ID,用於備份名稱的最終元件。

這個值的長度必須介於 1 至 64 個半形字元之間,開頭須為英文字母,結尾則須為英文字母或數字,而且只能使用英數字元或連字號。

backup

Backup

這是必要旗標,要建立的備份。系統會忽略 name 欄位。建立備份的 ID 必須在要求的 backup_id 欄位中提供。

request_id

string

(非必要) 要求 ID。指定專屬要求 ID,讓伺服器在要求完成後忽略該要求。在第一個要求後的 60 分鐘內,伺服器會忽略提供重複要求 ID 的後續要求。

舉例來說,如果初始要求逾時,接著出現另一個使用相同要求 ID 的要求,伺服器會忽略第二個要求,以免建立重複的承諾。

要求 ID 必須是有效的 UUID。系統不支援零 UUID (00000000-0000-0000-0000-0000000000000)。

CreateFederationRequest

CreateFederation 的要求訊息。

欄位
parent

string

這是必要旗標,要建立聯合服務的位置的相對資源名稱,格式如下:

projects/{project_number}/locations/{location_id}

授權需要指定資源 parent 的下列 IAM 權限:

  • metastore.federations.create
federation_id

string

這是必要旗標,元資料存放區聯盟的 ID,用於元資料存放區聯盟名稱的最終元件。

這個值的長度必須介於 2 至 63 個半形字元之間 (含),開頭須為英文字母,結尾須為英文字母或數字,且只能使用英數字元或連字號。

federation

Federation

這是必要旗標,要建立的中繼存放區聯盟。系統會忽略 name 欄位。建立的元資料庫聯集 ID 必須在要求的 federation_id 欄位中提供。

request_id

string

(非必要) 要求 ID。指定專屬要求 ID,讓伺服器在要求完成後忽略該要求。在第一個要求後的 60 分鐘內,伺服器會忽略提供重複要求 ID 的後續要求。

舉例來說,如果初始要求逾時,接著出現另一個使用相同要求 ID 的要求,伺服器會忽略第二個要求,以免建立重複的承諾。

要求 ID 必須是有效的 UUID。系統不支援零 UUID (00000000-0000-0000-0000-0000000000000)。

CreateMetadataImportRequest

DataprocMetastore.CreateMetadataImport 的要求訊息。

欄位
parent

string

這是必要旗標,要建立 Metastore 匯入作業的服務相對資源名稱,格式如下:

projects/{project_number}/locations/{location_id}/services/{service_id}

授權需要指定資源 parent 的下列 IAM 權限:

  • metastore.imports.create
metadata_import_id

string

這是必要旗標,中繼資料匯入 ID,用於中繼資料匯入名稱的最終組成部分。

這個值的長度必須介於 1 至 64 個半形字元之間,開頭須為英文字母,結尾則須為英文字母或數字,而且只能使用英數字元或連字號。

metadata_import

MetadataImport

這是必要旗標,要匯入的中繼資料。系統會忽略 name 欄位。您必須在要求的 metadata_import_id 欄位中提供已建立的中繼資料匯入作業 ID。

request_id

string

(非必要) 要求 ID。指定專屬要求 ID,讓伺服器在要求完成後忽略該要求。在第一個要求後的 60 分鐘內,伺服器會忽略提供重複要求 ID 的後續要求。

舉例來說,如果初始要求逾時,接著出現另一個使用相同要求 ID 的要求,伺服器會忽略第二個要求,以免建立重複的承諾。

要求 ID 必須是有效的 UUID。系統不支援零 UUID (00000000-0000-0000-0000-0000000000000)。

CreateServiceRequest

DataprocMetastore.CreateService 的要求訊息。

欄位
parent

string

這是必要旗標,建立 Metastore 服務的位置的相對資源名稱,格式如下:

projects/{project_number}/locations/{location_id}

授權需要指定資源 parent 的下列 IAM 權限:

  • metastore.services.create
service_id

string

這是必要旗標,Metastore 服務的 ID,用於 Metastore 服務名稱的最終元件。

這個值的長度必須介於 2 至 63 個半形字元之間 (含),開頭須為英文字母,結尾須為英文字母或數字,且只能使用英數字元或連字號。

service

Service

這是必要旗標,要建立的 Metastore 服務。系統會忽略 name 欄位。建立的 Metastore 服務 ID 必須在要求的 service_id 欄位中提供。

request_id

string

(非必要) 要求 ID。指定專屬要求 ID,讓伺服器在要求完成後忽略該要求。在第一個要求後的 60 分鐘內,伺服器會忽略提供重複要求 ID 的後續要求。

舉例來說,如果初始要求逾時,接著出現另一個使用相同要求 ID 的要求,伺服器會忽略第二個要求,以免建立重複的承諾。

要求 ID 必須是有效的 UUID。系統不支援零 UUID (00000000-0000-0000-0000-0000000000000)。

DataCatalogConfig

指定 Metastore 中繼資料應如何與 Data Catalog 服務整合。

欄位
enabled

bool

(非必要) 定義是否應將中繼資料中繼資料同步至 Data Catalog。預設值會停用將中繼資料中繼資料同步至 Data Catalog 的功能。

DatabaseDumpSpec

這個類型沒有任何欄位。

要匯入或匯出的資料庫轉儲作業規格。

類型

資料庫傾印的類型。

列舉
TYPE_UNSPECIFIED 資料庫傾印的類型不明。
MYSQL 資料庫傾印是 MySQL 傾印檔案。
AVRO 資料庫傾印包含 Avro 檔案。

DataplexConfig

指定 Metastore 中繼資料應如何與 Dataplex 服務整合。

欄位
lake_resources

map<string, Lake>

參照這項 Metastore 服務所附加的 Lake 資源。其中鍵值是湖泊資源名稱。範例:projects/{project_number}/locations/{location_id}/lakes/{lake_id}

DeleteBackupRequest

DataprocMetastore.DeleteBackup 的要求訊息。

欄位
name

string

這是必要旗標,要刪除的備份檔案的相對資源名稱,格式如下:

projects/{project_number}/locations/{location_id}/services/{service_id}/backups/{backup_id}

授權需要指定資源 name 的下列 IAM 權限:

  • metastore.backups.delete
request_id

string

(非必要) 要求 ID。指定專屬要求 ID,讓伺服器在要求完成後忽略該要求。在第一個要求後的 60 分鐘內,伺服器會忽略提供重複要求 ID 的後續要求。

舉例來說,如果初始要求逾時,接著出現另一個使用相同要求 ID 的要求,伺服器會忽略第二個要求,以免建立重複的承諾。

要求 ID 必須是有效的 UUID。系統不支援零 UUID (00000000-0000-0000-0000-0000000000000)。

DeleteFederationRequest

DeleteFederation 的請求訊息。

欄位
name

string

這是必要旗標,要刪除的中繼存放區聯合體的相對資源名稱,格式如下:

projects/{project_number}/locations/{location_id}/federations/{federation_id}

授權需要指定資源 name 的下列 IAM 權限:

  • metastore.federations.delete
request_id

string

(非必要) 要求 ID。指定專屬要求 ID,讓伺服器在要求完成後忽略該要求。在第一個要求後的 60 分鐘內,伺服器會忽略提供重複要求 ID 的後續要求。

舉例來說,如果初始要求逾時,接著出現另一個使用相同要求 ID 的要求,伺服器會忽略第二個要求,以免建立重複的承諾。

要求 ID 必須是有效的 UUID。系統不支援零 UUID (00000000-0000-0000-0000-0000000000000)。

DeleteMigrationExecutionRequest

DataprocMetastore.DeleteMigrationExecution 的要求訊息。

欄位
name

string

這是必要旗標,要刪除的 migrationExecution 的相對資源名稱,格式如下:

projects/{project_number}/locations/{location_id}/services/{service_id}/migrationExecutions/{migration_execution_id}

授權需要指定資源 name 的下列 IAM 權限:

  • metastore.migrations.delete
request_id

string

(非必要) 要求 ID。指定專屬要求 ID,讓伺服器在要求完成後忽略該要求。在第一個要求後的 60 分鐘內,伺服器會忽略提供重複要求 ID 的後續要求。

舉例來說,如果初始要求逾時,接著出現另一個使用相同要求 ID 的要求,伺服器會忽略第二個要求,以免建立重複的承諾。

要求 ID 必須是有效的 UUID。系統不支援零 UUID (00000000-0000-0000-0000-0000000000000)。

DeleteServiceRequest

DataprocMetastore.DeleteService 的要求訊息。

欄位
name

string

這是必要旗標,要刪除的 Metastore 服務相對資源名稱,格式如下:

projects/{project_number}/locations/{location_id}/services/{service_id}

授權需要指定資源 name 的下列 IAM 權限:

  • metastore.services.delete
request_id

string

(非必要) 要求 ID。指定專屬要求 ID,讓伺服器在要求完成後忽略該要求。在第一個要求後的 60 分鐘內,伺服器會忽略提供重複要求 ID 的後續要求。

舉例來說,如果初始要求逾時,接著出現另一個使用相同要求 ID 的要求,伺服器會忽略第二個要求,以免建立重複的承諾。

要求 ID 必須是有效的 UUID。系統不支援零 UUID (00000000-0000-0000-0000-0000000000000)。

EncryptionConfig

服務的加密設定。

欄位
kms_key

string

客戶提供的完整 Cloud KMS 金鑰名稱,用於加密客戶資料,格式如下:

projects/{project_number}/locations/{location_id}/keyRings/{key_ring_id}/cryptoKeys/{crypto_key_id}

ErrorDetails

DataprocMetastore.QueryMetadata 公開錯誤訊息中的錯誤詳細資料。

欄位
details

map<string, string>

這個錯誤的其他結構化詳細資料。

鍵會定義失敗項目。值會說明項目的例外狀況或詳細資料。

ExportMetadataRequest

DataprocMetastore.ExportMetadata 的要求訊息。

欄位
service

string

這是必要旗標,要執行匯出的 Metastore 服務的相對資源名稱,格式如下:

projects/{project_id}/locations/{location_id}/services/{service_id}

授權需要指定資源 service 的下列 IAM 權限:

  • metastore.services.export
request_id

string

(非必要) 要求 ID。指定專屬要求 ID,讓伺服器在要求完成後忽略該要求。在第一個要求後的 60 分鐘內,伺服器會忽略提供重複要求 ID 的後續要求。

舉例來說,如果初始要求逾時,接著出現另一個使用相同要求 ID 的要求,伺服器會忽略第二個要求,以免建立重複的承諾。

要求 ID 必須是有效的 UUID。系統不支援零 UUID (00000000-0000-0000-0000-000000000000)。

database_dump_type

Type

(非必要) 資料庫備份的類型。如未指定,則預設為 MYSQL

聯集欄位 destination。這是必要旗標,中繼資料的匯出目的地。destination 只能是下列其中一項:
destination_gcs_folder

string

資料夾的 Cloud Storage URI,格式為 gs://<bucket_name>/<path_inside_bucket>。系統會在其下方建立包含匯出檔案的子資料夾 <export_folder>

聯盟

代表多個後端元資料儲存庫的聯合體。

欄位
name

string

不可變動。聯邦的相對資源名稱,格式如下:projects/{project_number}/locations/{location_id}/federations/{federation_id}`。

create_time

Timestamp

僅供輸出。建立元資料庫聯結的時間。

update_time

Timestamp

僅供輸出。上次更新元資料庫聯集的時間。

labels

map<string, string>

元資料庫聯集的使用者定義標籤。

version

string

不可變動。聯盟的 Apache Hive 中繼存放區版本。所有後端元資料庫版本都必須與聯合版本相容。

backend_metastores

map<int32, BackendMetastore>

BackendMetastore 排名到 BackendMetastore 的對應,聯合服務會在查詢時透過此對應提供中繼資料。對應索引鍵代表在查詢時,應評估 BackendMetastore 以解析資料庫名稱的順序,且應大於或等於零。編號較小的 BackendMetastore 會先於編號較大的 BackendMetastore 評估。

endpoint_uri

string

僅供輸出。聯盟端點。

state

State

僅供輸出。聯盟的目前狀態。

state_message

string

僅供輸出。與元資料庫聯合資料庫目前狀態相關的其他資訊 (如有)。

uid

string

僅供輸出。元資料庫聯合作業的全域專屬資源 ID。

狀態

聯盟的目前狀態。

列舉
STATE_UNSPECIFIED Metastore 聯合資料庫的狀態不明。
CREATING 元資料庫聯合服務正在建立中。
ACTIVE 元資料庫聯合服務正在執行,可供查詢使用。
UPDATING 正在更新元資料庫聯合服務。目前仍可使用,但無法接受額外的更新要求,也無法刪除。
DELETING 正在刪除 Metastore 聯盟。無法使用。
ERROR Metastore 聯合服務發生錯誤,無法使用。應刪除中繼存放區聯盟。

GetBackupRequest

DataprocMetastore.GetBackup 的要求訊息。

欄位
name

string

這是必要旗標,要擷取的備份的相對資源名稱,格式如下:

projects/{project_number}/locations/{location_id}/services/{service_id}/backups/{backup_id}

授權需要指定資源 name 的下列 IAM 權限:

  • metastore.backups.get

GetFederationRequest

GetFederation 的要求訊息。

欄位
name

string

這是必要旗標,要擷取的中繼存放區聯合體的相對資源名稱,格式如下:

projects/{project_number}/locations/{location_id}/federations/{federation_id}

授權需要指定資源 name 的下列 IAM 權限:

  • metastore.federations.get

GetMetadataImportRequest

DataprocMetastore.GetMetadataImport 的要求訊息。

欄位
name

string

這是必要旗標,要擷取的中繼資料匯入作業的相對資源名稱,格式如下:

projects/{project_number}/locations/{location_id}/services/{service_id}/metadataImports/{import_id}

授權需要指定資源 name 的下列 IAM 權限:

  • metastore.imports.get

GetMigrationExecutionRequest

DataprocMetastore.GetMigrationExecution 的要求訊息。

欄位
name

string

這是必要旗標,要擷取的遷移執行作業的相對資源名稱,格式如下:

projects/{project_number}/locations/{location_id}/services/{service_id}/migrationExecutions/{migration_execution_id}

授權需要指定資源 name 的下列 IAM 權限:

  • metastore.migrations.get

GetServiceRequest

DataprocMetastore.GetService 的要求訊息。

欄位
name

string

這是必要旗標,要擷取的 Metastore 服務相對資源名稱,格式如下:

projects/{project_number}/locations/{location_id}/services/{service_id}

授權需要指定資源 name 的下列 IAM 權限:

  • metastore.services.get

HiveMetastoreConfig

指定以 Hive 中繼存放區軟體做為中繼存放區服務的專屬設定資訊。

欄位
version

string

不可變動。Hive 中繼存放區結構定義版本。

config_overrides

map<string, string>

將套用至 Hive metastore 的 Hive metastore 設定鍵/值組合對應關係 (在 hive-site.xml 中設定)。對應關係會覆寫系統預設值 (部分鍵無法覆寫)。這些覆寫值也會套用至輔助版本,並可在輔助版本的 AuxiliaryVersionConfig 中進一步自訂。

kerberos_config

KerberosConfig

用於將 Hive 中繼存放區服務設為 Kerberos 領域中的服務主體。如要停用 Kerberos,請使用 UpdateService 方法,並在要求的 update_mask 中指定此欄位的路徑 (hive_metastore_config.kerberos_config),同時在要求的 service 中略過此欄位。

endpoint_protocol

EndpointProtocol

要用於 Metastore 服務端點的通訊協定。如未指定,則預設為 THRIFT

auxiliary_versions

map<string, AuxiliaryVersionConfig>

將 Hive 中繼儲存庫版本對應至輔助版本設定。如有指定,建立主要服務時就會一併建立次要 Hive 中繼儲存庫服務。所有輔助版本都必須低於服務的主要版本。鍵是輔助服務名稱,且必須符合規則運算式 a-z?。也就是說,第一個字元必須是小寫英文字母,後續的所有字元則須由連字號、小寫英文字母或數字組成,但最後一個字元不得為連字號。

EndpointProtocol

可用於服務中繼存放區服務端點的通訊協定。

列舉
ENDPOINT_PROTOCOL_UNSPECIFIED 未設定通訊協定。
THRIFT 為 Metastore 服務端點使用舊版 Apache Thrift 通訊協定。
GRPC 為 Metastore 服務端點使用翻新的 gRPC 通訊協定。

KerberosConfig

Kerberos 主體的設定資訊。

欄位
keytab

Secret

Kerberos 鍵值檔案,可用於透過 Kerberos 金鑰發布中心 (KDC) 驗證服務主體。

principal

string

存在於 KDC 和 Keytab 中的 Kerberos 主體,用於驗證。典型的主體會採用 primary/instance@REALM 的格式,但並非確切格式要求。

krb5_config_gcs_uri

string

指定 krb5.conf 檔案路徑的 Cloud Storage URI。檔案格式為 gs://{bucket_name}/path/to/krb5.conf,但檔案名稱不必明確為 krb5.conf。

湖泊

代表 Lake 資源

欄位
name

string

Lake 資源名稱。範例:projects/{project_number}/locations/{location_id}/lakes/{lake_id}

LatestBackup

最新的排定備份作業詳細資料。

欄位
backup_id

string

僅供輸出。正在進行的排定備份作業 ID。如果沒有備份作業正在進行,則為空白。

start_time

Timestamp

僅供輸出。開始備份的時間。

state

State

僅供輸出。備份的目前狀態。

duration

Duration

僅供輸出。備份完成的時間長度。

狀態

備份的目前狀態。

列舉
STATE_UNSPECIFIED 備份作業狀態不明。
IN_PROGRESS 正在備份。
SUCCEEDED 備份已完成。
FAILED 備份失敗。

LimitConfig

代表 Metastore 服務的自動調度資源限制設定。

欄位
max_scaling_factor

float

(非必要) 服務應自動調整至的最高縮放因數。

min_scaling_factor

float

(非必要) 服務應自動調整至的最低縮放因數。

ListBackupsRequest

DataprocMetastore.ListBackups 的要求訊息。

欄位
parent

string

這是必要旗標,要列出備份的服務的相對資源名稱,格式如下:

projects/{project_number}/locations/{location_id}/services/{service_id}/backups

授權需要指定資源 parent 的下列 IAM 權限:

  • metastore.backups.list
page_size

int32

(非必要) 要傳回的備份數量上限。回應中可能包含的數量少於上限。如未指定,系統最多會傳回 500 個備份。許可的最大值為 1000;超出的數值將一律指定為 1000。

page_token

string

(非必要) 屬於接收自前一個 DataprocMetastore.ListBackups 呼叫的網頁權杖。提供此符記即可擷取後續網頁。

如要擷取第一頁,請提供空白的頁面符記。

進行分頁時,提供至 DataprocMetastore.ListBackups 的其他參數須與提供網頁權杖的呼叫相符。

filter

string

(非必要) 套用至清單結果的篩選器。

order_by

string

(非必要) 請按照「排序順序」一節所述,指定結果的排序順序。如果未指定,結果會依預設順序排序。

ListBackupsResponse

DataprocMetastore.ListBackups 的回應訊息。

欄位
backups[]

Backup

指定服務的備份。

next_page_token

string

可做為 page_token 傳送的權杖,用於擷取後續網頁。如果省略這個欄位,就不會有後續頁面。

unreachable[]

string

無法抵達的位置。

ListFederationsRequest

ListFederations 的要求訊息。

欄位
parent

string

這是必要旗標,要列出的中繼存放區聯盟位置的相對資源名稱,格式如下:projects/{project_number}/locations/{location_id}

授權需要指定資源 parent 的下列 IAM 權限:

  • metastore.federations.list
page_size

int32

(非必要) 要傳回的聯播網數量上限。回應中可能包含的數量少於上限。如未指定,最多會傳回 500 項服務。許可的最大值為 1000;超出的數值將一律指定為 1000。

page_token

string

(非必要) 來自先前 ListFederationServices 呼叫的網頁權杖。提供此符記即可擷取後續網頁。

如要擷取第一頁,請提供空白的頁面符記。

進行分頁時,提供至 ListFederationServices 的其他參數必須與提供網頁權杖的呼叫相符。

filter

string

(非必要) 套用至清單結果的篩選器。

order_by

string

(非必要) 請按照「排序順序」一節所述,指定結果的排序順序。如果未指定,結果會依預設順序排序。

ListFederationsResponse

ListFederations 的回應訊息

欄位
federations[]

Federation

指定位置的服務。

next_page_token

string

可做為 page_token 傳送的權杖,用於擷取後續網頁。如果省略這個欄位,就不會有後續頁面。

unreachable[]

string

無法抵達的位置。

ListMetadataImportsRequest

DataprocMetastore.ListMetadataImports 的要求訊息。

欄位
parent

string

這是必要旗標,中繼資料匯入清單中服務的相對資源名稱,格式如下:

projects/{project_number}/locations/{location_id}/services/{service_id}/metadataImports

授權需要指定資源 parent 的下列 IAM 權限:

  • metastore.imports.list
page_size

int32

(非必要) 要傳回的匯入項目數量上限。回應中可能包含的數量少於上限。如未指定,最多會傳回 500 個匯入項目。許可的最大值為 1000;超出的數值將一律指定為 1000。

page_token

string

(非必要) 屬於接收自前一個 DataprocMetastore.ListServices 呼叫的網頁權杖。提供此符記即可擷取後續網頁。

如要擷取第一頁,請提供空白的頁面符記。

進行分頁時,提供至 DataprocMetastore.ListServices 的其他參數須與提供網頁權杖的呼叫相符。

filter

string

(非必要) 套用至清單結果的篩選器。

order_by

string

(非必要) 請按照「排序順序」一節所述,指定結果的排序順序。如果未指定,結果會依預設順序排序。

ListMetadataImportsResponse

DataprocMetastore.ListMetadataImports 的回應訊息。

欄位
metadata_imports[]

MetadataImport

指定服務中的匯入項目。

next_page_token

string

可做為 page_token 傳送的權杖,用於擷取後續網頁。如果省略這個欄位,就不會有後續頁面。

unreachable[]

string

無法抵達的位置。

ListMigrationExecutionsRequest

DataprocMetastore.ListMigrationExecutions 的要求訊息。

欄位
parent

string

這是必要旗標,要列出的遷移執行作業所屬服務的相對資源名稱,格式如下:

projects/{project_number}/locations/{location_id}/services/{service_id}/migrationExecutions

授權需要指定資源 parent 的下列 IAM 權限:

  • metastore.migrations.list
page_size

int32

(非必要) 要傳回的遷移執行作業數量上限。回應中可能包含的數量少於上限。如未指定,系統最多會傳回 500 次遷移執行作業。許可的最大值為 1000;超出的數值將一律指定為 1000。

page_token

string

(非必要) 屬於接收自前一個 DataprocMetastore.ListMigrationExecutions 呼叫的網頁權杖。提供此符記即可擷取後續網頁。

如要擷取第一頁,請提供空白的頁面符記。

進行分頁時,提供至 DataprocMetastore.ListMigrationExecutions 的其他參數須與提供網頁權杖的呼叫相符。

filter

string

(非必要) 套用至清單結果的篩選器。

order_by

string

(非必要) 請按照「排序順序」一節所述,指定結果的排序順序。如果未指定,結果會依預設順序排序。

ListMigrationExecutionsResponse

DataprocMetastore.ListMigrationExecutions 的回應訊息。

欄位
migration_executions[]

MigrationExecution

指定服務上的遷移執行作業。

next_page_token

string

可做為 page_token 傳送的權杖,用於擷取後續網頁。如果省略這個欄位,就不會有後續頁面。

unreachable[]

string

無法抵達的位置。

ListServicesRequest

DataprocMetastore.ListServices 的要求訊息。

欄位
parent

string

這是必要旗標,要列出的 Metastore 服務位置的相對資源名稱,格式如下:

projects/{project_number}/locations/{location_id}

授權需要指定資源 parent 的下列 IAM 權限:

  • metastore.services.list
page_size

int32

(非必要) 要傳回的服務數量上限。回應中可能包含的數量少於上限。如未指定,最多會傳回 500 項服務。許可的最大值為 1000;超出的數值將一律指定為 1000。

page_token

string

(非必要) 屬於接收自前一個 DataprocMetastore.ListServices 呼叫的網頁權杖。提供此符記即可擷取後續網頁。

如要擷取第一頁,請提供空白的頁面符記。

進行分頁時,提供至 DataprocMetastore.ListServices 的其他參數須與提供網頁權杖的呼叫相符。

filter

string

(非必要) 套用至清單結果的篩選器。

order_by

string

(非必要) 請按照「排序順序」一節所述,指定結果的排序順序。如果未指定,結果會依預設順序排序。

ListServicesResponse

DataprocMetastore.ListServices 的回應訊息。

欄位
services[]

Service

指定位置的服務。

next_page_token

string

可做為 page_token 傳送的權杖,用於擷取後續網頁。如果省略這個欄位,就不會有後續頁面。

unreachable[]

string

無法抵達的位置。

LocationMetadata

某個地點的服務中繼資料。

欄位
supported_hive_metastore_versions[]

HiveMetastoreVersion

在這個位置建立新中繼存放區服務時,可使用的 Hive Metastore 版本。伺服器可保證清單中只有一個 HiveMetastoreVersion 會設定 is_default

multi_region_metadata

MultiRegionMetadata

如果目前的區域為多區域,則為多區域中繼資料。

custom_region_metadata[]

CustomRegionMetadata

如果目前的區域為自訂區域,則支援的可能設定。

CustomRegionMetadata

自訂區域的中繼資料。只有在區域為自訂區域時,才會填入這個值。對於單一/多個區域,這項屬性會為空白。

欄位
required_read_write_regions[]

string

這個自訂區域的讀取/寫入區域。

optional_read_only_regions[]

string

這個自訂區域的唯讀區域。

witness_region

string

這個自訂區域的 Spanner 見證區域。

HiveMetastoreVersion

支援的 Hive Metastore 軟體版本規格。

欄位
version

string

Hive Metastore 軟體的語意版本。

is_default

bool

如果使用省略 versionHiveMetastoreConfig 建立中繼儲存庫服務,伺服器是否會選擇 version

MultiRegionMetadata

包含組成區域的多區域中繼資料。只有在區域為多區域時,系統才會填入中繼資料。對於單一區域或自訂雙區域,這項屬性會為空白。

欄位
constituent_regions[]

string

構成多區域的區域。

MaintenanceWindow

維護期間。這項設定會指定 Dataproc Metastore 可針對服務執行系統維護作業的時間。

欄位
hour_of_day

Int32Value

供應期間開始的一天內時刻 (0-23)。

day_of_week

DayOfWeek

開始時段的星期幾。

MetadataExport

中繼資料匯出作業的詳細資料。

欄位
start_time

Timestamp

僅供輸出。匯出作業開始的時間。

end_time

Timestamp

僅供輸出。匯出作業結束的時間。

state

State

僅供輸出。匯出作業目前的狀態。

database_dump_type

Type

僅供輸出。資料庫傾印的類型。

聯集欄位 destination

destination 只能是下列其中一項:

destination_gcs_uri

string

僅供輸出。中繼資料匯出至的資料夾的 Cloud Storage URI,以 gs://<bucket_name>/<path_inside_bucket>/<export_folder> 格式表示,其中 <export_folder> 會自動產生。

狀態

中繼資料匯出的目前狀態。

列舉
STATE_UNSPECIFIED 中繼資料匯出作業的狀態不明。
RUNNING 中繼資料匯出作業正在執行。
SUCCEEDED 已成功匯出中繼資料。
FAILED 無法匯出中繼資料。
CANCELLED 中繼資料匯出作業已取消。

MetadataImport

匯入中繼資料的中繼儲存庫資源。

欄位
name

string

不可變動。中繼資料匯入作業的相對資源名稱,格式如下:

projects/{project_number}/locations/{location_id}/services/{service_id}/metadataImports/{metadata_import_id}

description

string

中繼資料匯入作業的說明。

create_time

Timestamp

僅供輸出。開始匯入中繼資料的時間。

update_time

Timestamp

僅供輸出。中繼資料匯入作業上次更新的時間。

end_time

Timestamp

僅供輸出。中繼資料匯入完成的時間。

state

State

僅供輸出。中繼資料匯入的目前狀態。

聯集欄位 metadata。要匯入的中繼資料。metadata 只能是下列其中一項:
database_dump

DatabaseDump

不可變動。來自現有中繼儲存庫資料庫的資料庫傾印。

DatabaseDump

關聯資料庫管理系統資料庫傾印的位置和中繼資料的規格。

欄位
database_type
(deprecated)

DatabaseType

資料庫類型。

gcs_uri

string

指定匯入中繼資料來源的 Cloud Storage 物件或資料夾 URI。開頭必須是 gs://

source_database
(deprecated)

string

來源資料庫的名稱。

type

Type

(非必要) 資料庫備份的類型。如未指定,則預設為 MYSQL

DatabaseType

資料庫類型。

列舉
DATABASE_TYPE_UNSPECIFIED 來源資料庫的類型不明。
MYSQL 來源資料庫的類型為 MySQL。

狀態

中繼資料匯入的目前狀態。

列舉
STATE_UNSPECIFIED 中繼資料匯入作業的狀態不明。
RUNNING 中繼資料匯入作業正在執行。
SUCCEEDED 已成功匯入中繼資料。
UPDATING 中繼資料匯入作業正在更新。
FAILED 中繼資料匯入作業失敗,嘗試變更的中繼資料已回復。

MetadataIntegration

指定應如何將中繼資料中繼資料與外部服務整合。

欄位
data_catalog_config

DataCatalogConfig

(非必要) Data Catalog 服務的整合設定。

dataplex_config

DataplexConfig

Dataplex 服務的整合設定。

MetadataManagementActivity

metastore 服務的中繼資料管理活動。

欄位
metadata_exports[]

MetadataExport

僅供輸出。Metastore 服務的最新中繼資料匯出內容。

restores[]

Restore

僅供輸出。Metastore 服務的最新還原作業。

MigrationExecution

遷移執行作業資源的詳細資料。

欄位
name

string

僅供輸出。遷移執行作業的相對資源名稱,格式如下:projects/{project_number}/locations/{location_id}/services/{service_id}/migrationExecutions/{migration_execution_id}

create_time

Timestamp

僅供輸出。開始執行遷移作業的時間。

end_time

Timestamp

僅供輸出。遷移執行作業完成的時間。

state

State

僅供輸出。遷移作業目前的執行狀態。

phase

Phase

僅供輸出。遷移作業目前的執行階段。

state_message

string

僅供輸出。遷移執行作業目前狀態的其他資訊。

聯集欄位 migration_config。Dataproc Metastore 啟動遷移程序 migration_config 所需的設定資訊只能是下列其中一種:
cloud_sql_migration_config

CloudSQLMigrationConfig

針對從 Google Cloud 中的自行管理 Hive 中繼存放區 (使用 Cloud SQL 做為後端資料庫) 遷移至 Dataproc Metastore 的特定設定資訊。

CloudSQLMigrationConfig

設定資訊:從 Google Cloud 中自行管理的 Hive 中繼存放區 (使用 Cloud SQL 做為後端資料庫) 遷移至 Dataproc Metastore。

欄位
cdc_config

CdcConfig

這是必要旗標,此設定資訊是用於啟動從客戶資料庫到 Dataproc Metastore 後端資料庫的變更資料擷取 (CDC) 串流。在遷移作業的轉換階段結束後,Dataproc Metastore 會改用自己的後端資料庫。

cloud_sql_connection_config

CloudSQLConnectionConfig

這是必要旗標,在遷移的轉換階段前,用於建立客戶資料庫連線的設定資訊

CdcConfig

此設定資訊是用於啟動從客戶資料庫到 Dataproc Metastore 後端資料庫的變更資料擷取 (CDC) 串流。

欄位
vpc_network

string

這是必要旗標,Cloud SQL 執行個體虛擬私有雲網路或 Datastream 要對接的共用虛擬私有雲網路的完整名稱,格式如下:projects/{project_id}/locations/global/networks/{network_id}。詳情請參閱 https://cloud.google.com/datastream/docs/network-connectivity-options#privateconnectivity

subnet_ip_range

string

這是必要旗標,與 Datastream 對接的 /29 CIDR IP 範圍。

username

string

這是必要旗標,Datastream 服務連線至 MySQL 時應使用的使用者名稱。

password

string

這是必要旗標,僅限輸入。Datastream 服務應使用 MySQL 連線的使用者密碼。系統不會在要求中傳回這個欄位。

reverse_proxy_subnet

string

這是必要旗標,子網路資源網址,該資源可用來建立託管反向 Proxy 的 VM 執行個體。如需更多背景資訊,請參閱 https://cloud.google.com/datastream/docs/private-connectivity#reverse-csql-proxy。子網路應位於 Datastream 要進行對接的要求所提供的網路,且應與 Datastream 位於相同區域,格式如下。projects/{project_id}/regions/{region_id}/subnetworks/{subnetwork_id}

bucket

string

(非必要) 用來寫入中繼串流事件資料的 bucket。bucket 名稱不得包含前置字串,例如「gs://」。請參閱值區命名規定。這是選填欄位。如未設定,系統會使用 Artifacts Cloud Storage bucket。

root_path

string

(非必要) Cloud Storage 值區中的根路徑。串流事件資料會寫入這個路徑。預設值為 /migration

CloudSQLConnectionConfig

在遷移的轉換階段前,用於建立客戶資料庫連線的設定資訊

欄位
instance_connection_name

string

這是必要旗標,Cloud SQL 資料庫連線名稱 (project_id:region:instance_name)

ip_address

string

這是必要旗標,Cloud SQL 執行個體的私人 IP 位址。

port

int32

這是必要旗標,資料庫的網路通訊埠。

hive_database_name

string

這是必要旗標,Hive 資料庫名稱。

username

string

這是必要旗標,Dataproc Metastore 服務連線至資料庫要用的使用者名稱。

password

string

這是必要旗標,僅限輸入。Dataproc Metastore 服務連線至資料庫要用的使用者密碼。系統不會在要求中傳回這個欄位。

proxy_subnet

string

這是必要旗標,要在其中部署 SOCKS5 Proxy 服務的子網路相對資源名稱。子網路應位於可存取 Cloud SQL 執行個體的網路。資源名稱的格式應為 projects/{project_id}/regions/{region_id}/subnetworks/{subnetwork_id}

nat_subnet

string

這是必要旗標,要用於 Private Service Connect 的子網路相對資源名稱。請注意,這無法做為一般子網路,僅適用於 NAT。https://cloud.google.com/vpc/docs/about-vpc-hosted-services#psc-subnets這個子網路是用於發布 SOCKS5 Proxy 服務。子網路大小至少須為 /29,且應位於可存取 Cloud SQL 執行個體的網路中。資源名稱的格式應為 projects/{project_id}/regions/{region_id}/subnetworks/{subnetwork_id}

階段

遷移作業目前的執行階段。

列舉
PHASE_UNSPECIFIED 遷移作業執行階段不明。
REPLICATION 複製階段是指 Dataproc Metastore 執行管道,將客戶資料庫中的變更複製到後端資料庫的遷移階段。在此階段,Dataproc Metastore 會使用客戶資料庫做為 Hive 中繼存放區後端資料庫。
CUTOVER 轉換階段是指 Dataproc Metastore 改用自己的後端資料庫的遷移階段。當客戶完成將所有叢集/工作負載遷移至 Dataproc Metastore 並觸發 CompleteMigration 時,遷移作業就會進入這個階段。

狀態

遷移作業目前的執行狀態。

列舉
STATE_UNSPECIFIED 遷移作業執行狀態不明。
STARTING 正在開始執行遷移作業。
RUNNING 正在執行遷移作業。
CANCELLING 正在取消執行遷移作業。
AWAITING_USER_ACTION 遷移作業正在等待使用者採取行動。
SUCCEEDED 遷移作業已順利完成。
FAILED 遷移作業執行失敗。
CANCELLED 取消執行遷移作業。
DELETING 正在刪除遷移作業。

MoveTableToDatabaseRequest

DataprocMetastore.MoveTableToDatabase 的要求訊息。

欄位
service

string

這是必要旗標,要修改中繼資料的中繼資料儲存庫服務的相對資源名稱,格式如下:

projects/{project_id}/locations/{location_id}/services/{service_id}

授權需要指定資源 service 的下列 IAM 權限:

  • metastore.services.mutateMetadata
table_name

string

這是必要旗標,要移動的資料表名稱。

db_name

string

這是必要旗標,資料表所在資料庫的名稱。

destination_db_name

string

這是必要旗標,資料表應移至的資料庫名稱。

MoveTableToDatabaseResponse

這個類型沒有任何欄位。

DataprocMetastore.MoveTableToDatabase 的回應訊息。

MultiRegionConfig

Dataproc Metastore 服務的多區設定。

欄位
certificates[]
(deprecated)

RootCACertificate

僅供輸出。gRPC 用戶端用來連線至多區域 Dataproc Metastore 服務的根憑證授權單位憑證清單。

custom_region_config

CustomRegionConfig

CustomRegionConfig

用於指定中繼資料服務執行區域的自訂設定。目前僅支援 us 多地區。

欄位
read_write_regions[]

string

這是必要旗標,執行元資料庫服務的讀寫區域清單。這些區域應是多區域的一部分 (或子集)。

read_only_regions[]

string

(非必要) 執行 Metastore 服務的唯讀區域清單。這些區域應是多區域的一部分 (或子集)。

RootCACertificate

gRPC 用戶端必須安裝所有根 CA 憑證,才能連線至跨區域 Dataproc Metastore 服務,並達成備援機制。

欄位
certificate
(deprecated)

string

PEM 格式的根 CA 憑證。長度上限為 65536 個位元組。

expiration_time
(deprecated)

Timestamp

憑證到期時間 (以時間戳記格式表示)。

NetworkConfig

Dataproc Metastore 服務的網路設定。

欄位
consumers[]

Consumer

不可變動。Dataproc Metastore 執行個體的使用者端網路設定。

custom_routes_enabled

bool

可讓您為 Dataproc Metastore 服務的對等虛擬私有雲網路匯入及匯出自訂路徑。

消費者

包含客戶的網路設定資訊。

欄位
endpoint_uri

string

僅供輸出。用於存取中繼存放區服務的端點 URI。

endpoint_location

string

僅供輸出。端點 URI 的位置。格式:projects/{project}/locations/{location}

聯集欄位 vpc_resource

vpc_resource 只能是下列其中一項:

subnetwork

string

不可變動。客戶專案的子網路,系統會從中預留 IP 位址,並用於做為 Dataproc Metastore 服務的端點。子網路中的主機和同區域和同網路中所有子網路的主機都可以存取。子網路的主要範圍中至少必須有一個可用的 IP 位址。子網路的格式如下:

projects/{project_number}/regions/{region_id}/subnetworks/{subnetwork_id}

OperationMetadata

代表長時間執行作業的中繼資料。

欄位
create_time

Timestamp

僅供輸出。作業的建立時間。

end_time

Timestamp

僅供輸出。作業完成的時間。

target

string

僅供輸出。作業目標的伺服器定義資源路徑。

verb

string

僅供輸出。作業執行的動詞名稱。

status_message

string

僅供輸出。作業的狀態 (如果有),以人類可讀的方式呈現。

requested_cancellation

bool

僅供輸出。判斷呼叫端是否已要求取消作業。已成功取消的作業會具有 [Operation.error][] 值,且 google.rpc.Status.code 為 1 (也就是 Code.CANCELLED)。

api_version

string

僅供輸出。用於啟動作業的 API 版本。

QueryMetadataRequest

DataprocMetastore.QueryMetadata 的要求訊息。

欄位
service

string

這是必要旗標,查詢中繼資料的中繼資料服務相對資源名稱,格式如下:

projects/{project_id}/locations/{location_id}/services/{service_id}

授權需要指定資源 service 的下列 IAM 權限:

  • metastore.services.queryMetadata
query

string

這是必要旗標,針對中繼資料資料庫執行的唯讀 SQL 查詢。查詢無法變更或變異資料。

QueryMetadataResponse

DataprocMetastore.QueryMetadata 的回應訊息。

欄位
result_manifest_uri

string

資訊清單 URI 會連結至 Cloud Storage 中的 JSON 例項。這個例項會立即顯示,並與 QueryMetadataResponse 一併顯示。針對中繼資料執行的長時間作業查詢完成後,才能擷取 URI 的內容。

RemoveIamPolicyRequest

DataprocMetastore.RemoveIamPolicy 的要求訊息。

欄位
resource

string

這是必要旗標,要移除 IAM 政策的資料層資源的相對資源名稱,格式如下:

projects/{project_id}/locations/{location_id}/services/{service_id}/databases/{database_id}projects/{project_id}/locations/{location_id}/services/{service_id}/databases/{database_id}/tables/{table_id}

asynchronous

bool

(非必要) 在設定時,會以非同步方式移除已連結至資料庫或資料表的 IAM 政策。預設值為 false。

RemoveIamPolicyResponse

DataprocMetastore.RemoveIamPolicy 的回應訊息。

欄位
success

bool

如果政策已成功移除,則傳回值為 True。

還原

中繼資料還原作業的詳細資料。

欄位
start_time

Timestamp

僅供輸出。復原作業開始的時間。

end_time

Timestamp

僅供輸出。還原作業結束的時間。

state

State

僅供輸出。還原作業的目前狀態。

backup

string

僅供輸出。要從中還原的 Metastore 服務備份的相對資源名稱,格式如下:

projects/{project_id}/locations/{location_id}/services/{service_id}/backups/{backup_id}

type

RestoreType

僅供輸出。還原類型。

details

string

僅供輸出。還原詳細資料,包含要還原至的服務修訂版本,格式為 JSON。

backup_location

string

(非必要) 指定備份構件儲存位置的 Cloud Storage URI,格式為 gs://<bucket_name>/<path_inside_bucket>

RestoreType

還原類型。如未指定,則預設為 METADATA_ONLY

列舉
RESTORE_TYPE_UNSPECIFIED 還原類型不明。
FULL 服務的中繼資料和設定會還原。
METADATA_ONLY 系統只會還原服務的中繼資料。

狀態

還原作業的目前狀態。

列舉
STATE_UNSPECIFIED 中繼資料還原作業的狀態不明。
RUNNING 中繼資料還原作業正在執行。
SUCCEEDED 已成功還原中繼資料。
FAILED 中繼資料還原作業失敗。
CANCELLED 中繼資料還原作業已取消。

RestoreServiceRequest

[DataprocMetastore.Restore][] 的請求訊息。

欄位
service

string

這是必要旗標,要執行還原作業的 Metastore 服務相對資源名稱,格式如下:

projects/{project_id}/locations/{location_id}/services/{service_id}

授權需要指定資源 service 的下列 IAM 權限:

  • metastore.services.restore
backup

string

(非必要) 要從中還原的 Metastore 服務備份的相對資源名稱,格式如下:

projects/{project_id}/locations/{location_id}/services/{service_id}/backups/{backup_id}:與 backup_location 互斥,必須設定其中一個。

授權需要指定資源 backup 的下列 IAM 權限:

  • metastore.backups.use
backup_location

string

(非必要) 指定備份構件位置的 Cloud Storage URI,也就是「avro/」底下的備份 avro 檔案、backup_metastore.json 和 service.json,格式如下:

gs://<path_to_backup>:與 backup 互斥,必須設定其中一個。

restore_type

RestoreType

(非必要) 還原類型。如未指定,則預設為 METADATA_ONLY

request_id

string

(非必要) 要求 ID。指定專屬要求 ID,讓伺服器在要求完成後忽略該要求。在第一個要求後的 60 分鐘內,伺服器會忽略提供重複要求 ID 的後續要求。

舉例來說,如果初始要求逾時,接著出現另一個使用相同要求 ID 的要求,伺服器會忽略第二個要求,以免建立重複的承諾。

要求 ID 必須是有效的 UUID。系統不支援零 UUID (00000000-0000-0000-0000-000000000000)。

ScalingConfig

代表 Metastore 服務的資源調度設定。

欄位
autoscaling_config

AutoscalingConfig

(非必要) 自動調度資源設定。

聯集欄位 scaling_model。代表預先設定的執行個體大小或數字縮放比例。scaling_model 只能是下列其中一項:
instance_size

InstanceSize

可讀取的執行個體大小列舉,其中每個執行個體大小會對應至浮點值 (例如 InstanceSize.EXTRA_SMALL = scaling_factor(0.1))

scaling_factor

float

縮放因數,如果值小於 1.0,則以 0.1 為單位遞增;如果值大於 1.0,則以 1.0 為單位遞增。

InstanceSize

元資料庫執行個體大小。

列舉
INSTANCE_SIZE_UNSPECIFIED 未指定的執行個體大小
EXTRA_SMALL 超小型執行個體大小,對應的調度因數為 0.1。
SMALL 小型執行個體,對應的縮放因數為 0.5。
MEDIUM 中等執行個體大小,對應的調度因數為 1.0。
LARGE 大型執行個體大小,對應的調度因數為 3.0。
EXTRA_LARGE 超大型執行個體大小,對應的調度因數為 6.0。

ScheduledBackup

這會指定排定備份的設定。

欄位
enabled

bool

(非必要) 定義是否啟用排定備份功能。預設值為 false。

cron_schedule

string

(非必要) 定期間隔,格式為 Cron 格式,請參閱 https://en.wikipedia.org/wiki/Cron。預設值為空白:未啟用定期備份功能。必須指定此值才能啟用排定的備份。

time_zone

string

(非必要) 指定解讀 cron_schedule 時要使用的時區。必須是時區資料庫 (https://en.wikipedia.org/wiki/List_of_tz_database_time_zones) 中的時區名稱,例如 America/Los_Angeles 或 Africa/Abidjan。如果未指定,預設值為世界標準時間。

next_scheduled_time

Timestamp

僅供輸出。下次備份作業的預定開始時間。

backup_location

string

(非必要) 資料夾的 Cloud Storage URI,格式為 gs://<bucket_name>/<path_inside_bucket>。其中包含備份檔案的子資料夾 <backup_folder> 會儲存在其下方。

latest_backup

LatestBackup

僅供輸出。最新的排定備份作業詳細資料。

密鑰

安全儲存的值。

欄位

聯集欄位 value

value 只能是下列其中一項:

cloud_secret

string

Secret Manager 密鑰版本的相對資源名稱,格式如下:

projects/{project_number}/secrets/{secret_id}/versions/{version_id}

服務

提供中繼資料查詢服務的代管中繼存放區服務。

欄位
name

string

不可變動。Metastore 服務的相對資源名稱,格式如下:

projects/{project_number}/locations/{location_id}/services/{service_id}

create_time

Timestamp

僅供輸出。建立 metastore 服務的時間。

update_time

Timestamp

僅供輸出。上次更新中繼資料服務的時間。

labels

map<string, string>

metastore 服務的使用者定義標籤。

network

string

不可變動。可存取執行個體的虛擬私人雲端網路相對資源名稱。其格式如下:

projects/{project_number}/global/networks/{network_id}

endpoint_uri

string

僅供輸出。用於存取中繼存放區服務的端點 URI。

port

int32

中繼存放區服務的 TCP 通訊埠。預設值:9083。

state

State

僅供輸出。metastore 服務目前的狀態。

state_message

string

僅供輸出。與 metastore 服務目前狀態相關的其他資訊 (如有)。

artifact_gcs_uri

string

僅供輸出。Cloud Storage URI (以 gs:// 開頭),用於指定與元資料庫服務相關的構件儲存位置。

tier

Tier

服務級別。

metadata_integration

MetadataIntegration

(非必要) 這個設定會定義 metastore 中繼資料應如何與外部服務和系統整合。

maintenance_window

MaintenanceWindow

Metastore 服務的 1 小時維護期間。這項屬性會以世界標準時間指定服務可重新啟動以進行維護的時間。使用 SPANNER 資料庫類型的服務不需要維護時間。

uid

string

僅供輸出。元資料庫服務的全域專屬資源 ID。

metadata_management_activity

MetadataManagementActivity

僅供輸出。metastore 服務的中繼資料管理活動。

release_channel

ReleaseChannel

不可變動。服務的發布版本。如未指定,則預設為 STABLE

encryption_config

EncryptionConfig

不可變動。用於設定 Dataproc Metastore 服務,以便加密客戶的靜態資料。設定完成後即無法更新。

network_config

NetworkConfig

指定 Dataproc Metastore 服務的網路設定。

database_type

DatabaseType

不可變動。Metastore 服務儲存資料的資料庫類型。

telemetry_config

TelemetryConfig

指定 Dataproc Metastore 服務遙測設定的設定。如未指定,則預設為 JSON

scaling_config

ScalingConfig

metastore 服務的資源調度設定。

multi_region_config

MultiRegionConfig

(非必要) 指定 Hive 中繼儲存庫服務的多地區設定資訊。

scheduled_backup

ScheduledBackup

(非必要) 中繼資料服務的排定備份設定。

deletion_protection

bool

(非必要) 指出是否應保護 Dataproc 元資料庫,以免發生意外刪除。

聯集欄位 metastore_config。特定於基礎中繼資料儲存庫服務技術 (提供中繼資料儲存庫查詢的軟體) 的設定屬性。metastore_config 只能是下列其中一項:
hive_metastore_config

HiveMetastoreConfig

設定資訊,適用於將 Hive 中繼存放區軟體設為中繼存放區服務。

DatabaseType

Metastore 服務的後端資料庫類型。

列舉
DATABASE_TYPE_UNSPECIFIED 未設定 DATABASE_TYPE。
MYSQL MySQL 可用於儲存元資料庫資料。
SPANNER Spanner 可用於儲存中繼資料庫資料。

ReleaseChannel

發布版本會將不同穩定程度的功能組合在一起。較新的功能可能會先導入較不穩定的發布版本管道,然後自動升級至較穩定的發布版本管道。

列舉
RELEASE_CHANNEL_UNSPECIFIED 未指定發布版本。
CANARY CANARY 發布管道包含最新功能,但可能不穩定,且或許有未解決的問題,而且沒有已知的解決方法。使用 CANARY 發布版本的服務不受任何服務等級目標的約束。
STABLE STABLE 發布版的功能已通過驗證,可用於正式環境,並且具備良好穩定性。

狀態

metastore 服務目前的狀態。

列舉
STATE_UNSPECIFIED Metastore 服務的狀態不明。
CREATING Metastore 服務正在建立中。
ACTIVE 中繼存放區服務已開始執行,可處理查詢。
SUSPENDING Metastore 服務即將進入暫停狀態。其查詢服務供應情形可能會突然停止。
SUSPENDED 中繼存放區服務已暫停,無法處理查詢。
UPDATING 正在更新 Metastore 服務。目前仍可使用,但無法接受額外的更新要求,也無法刪除。
DELETING 正在刪除 Metastore 服務。無法使用。
ERROR Metastore 服務發生錯誤,無法使用。應刪除 Metastore 服務。
AUTOSCALING Dataproc Metastore 服務 2 正在縮放。
MIGRATING Metastore 服務正在處理受管理的遷移作業。

級別

可用的服務級別。

列舉
TIER_UNSPECIFIED 未設定層級。
DEVELOPER 開發人員級別的擴充性有限且無法容錯,適合低成本的概念驗證作業。
ENTERPRISE 企業級提供多可用區高可用性,並具備足夠的擴充性,可用於企業級 Dataproc Metastore 工作負載。

StartMigrationRequest

DataprocMetastore.StartMigration 的要求訊息。

欄位
service

string

這是必要旗標,要開始遷移的 Metastore 服務相對資源名稱,格式如下:

projects/{project_id}/locations/{location_id}/services/{service_id}

授權需要指定資源 service 的下列 IAM 權限:

  • metastore.migrations.start
migration_execution

MigrationExecution

這是必要旗標,遷移作業的設定詳細資料。

request_id

string

(非必要) 要求 ID。指定專屬要求 ID,讓伺服器在要求完成後忽略該要求。在第一個要求後的 60 分鐘內,伺服器會忽略提供重複要求 ID 的後續要求。

舉例來說,如果初始要求逾時,接著出現另一個使用相同要求 ID 的要求,伺服器會忽略第二個要求,以免建立重複的承諾。

要求 ID 必須是有效的 UUID。系統不支援零 UUID (00000000-0000-0000-0000-0000000000000)。

TelemetryConfig

Dataproc Metastore 服務的遙測設定。

欄位
log_format

LogFormat

Dataproc Metastore 服務記錄的輸出格式。

LogFormat

列舉
LOG_FORMAT_UNSPECIFIED 未設定 LOG_FORMAT。
LEGACY 記錄輸出內容採用舊版 textPayload 格式。
JSON 記錄輸出內容採用 jsonPayload 格式。

UpdateFederationRequest

UpdateFederation 的要求訊息。

欄位
update_mask

FieldMask

這是必要旗標,欄位遮罩用於指定更新時在中繼資料庫聯合資源中要覆寫的欄位。update_mask 中指定的欄位是相對於資源 (而非整個要求)。如果欄位位於遮罩中,就會遭到覆寫。

federation

Federation

這是必要旗標,要更新的中繼資料集聯盟。只有在 update_mask 中指定服務中的欄位時,伺服器才會合併這些欄位。

Metastore 聯合體的 name 欄位可用於識別要更新的 Metastore 服務。

授權需要指定資源 federation 的下列 IAM 權限:

  • metastore.federations.update
request_id

string

(非必要) 要求 ID。指定專屬要求 ID,讓伺服器在要求完成後忽略該要求。在第一個要求後的 60 分鐘內,伺服器會忽略提供重複要求 ID 的後續要求。

舉例來說,如果初始要求逾時,接著出現另一個使用相同要求 ID 的要求,伺服器會忽略第二個要求,以免建立重複的承諾。

要求 ID 必須是有效的 UUID。系統不支援零 UUID (00000000-0000-0000-0000-0000000000000)。

UpdateMetadataImportRequest

DataprocMetastore.UpdateMetadataImport 的要求訊息。

欄位
update_mask

FieldMask

這是必要旗標,欄位遮罩,用於指定更新時要在中繼資料匯入資源中覆寫的欄位。update_mask 中指定的欄位是相對於資源 (而非整個要求)。如果欄位位於遮罩中,就會遭到覆寫。

metadata_import

MetadataImport

這是必要旗標,要更新的中繼資料匯入作業。只有在 update_mask 中指定匯入的欄位時,伺服器才會合併這些欄位。

中繼資料匯入作業的 name 欄位可用於識別要更新的中繼資料庫匯入作業。

授權需要指定資源 metadataImport 的下列 IAM 權限:

  • metastore.imports.update
request_id

string

(非必要) 要求 ID。指定專屬要求 ID,讓伺服器在要求完成後忽略該要求。在第一個要求後的 60 分鐘內,伺服器會忽略提供重複要求 ID 的後續要求。

舉例來說,如果初始要求逾時,接著出現另一個使用相同要求 ID 的要求,伺服器會忽略第二個要求,以免建立重複的承諾。

要求 ID 必須是有效的 UUID。系統不支援零 UUID (00000000-0000-0000-0000-0000000000000)。

UpdateServiceRequest

DataprocMetastore.UpdateService 的要求訊息。

欄位
update_mask

FieldMask

這是必要旗標,欄位遮罩用於指定更新作業在 metastore 服務資源中覆寫的欄位。update_mask 中指定的欄位是相對於資源 (而非整個要求)。如果欄位位於遮罩中,就會遭到覆寫。

service

Service

這是必要旗標,要更新的 Metastore 服務。只有在 update_mask 中指定服務中的欄位時,伺服器才會合併這些欄位。

Metastore 服務的 name 欄位可用來識別要更新的 Metastore 服務。

授權需要指定資源 service 的下列 IAM 權限:

  • metastore.services.update
request_id

string

(非必要) 要求 ID。指定專屬要求 ID,讓伺服器在要求完成後忽略該要求。在第一個要求後的 60 分鐘內,伺服器會忽略提供重複要求 ID 的後續要求。

舉例來說,如果初始要求逾時,接著出現另一個使用相同要求 ID 的要求,伺服器會忽略第二個要求,以免建立重複的承諾。

要求 ID 必須是有效的 UUID。系統不支援零 UUID (00000000-0000-0000-0000-0000000000000)。