- 資源:服務
- JSON 表示法
- HiveMetastoreConfig
- KerberosConfig
- 密鑰
- EndpointProtocol
- AuxiliaryVersionConfig
- NetworkConfig
- 消費者
- 狀態
- 級別
- MetadataIntegration
- DataCatalogConfig
- DataplexConfig
- 湖泊
- MaintenanceWindow
- MetadataManagementActivity
- MetadataExport
- 狀態
- 還原
- 狀態
- RestoreType
- ReleaseChannel
- EncryptionConfig
- DatabaseType
- TelemetryConfig
- LogFormat
- ScalingConfig
- InstanceSize
- AutoscalingConfig
- LimitConfig
- MultiRegionConfig
- RootCACertificate
- CustomRegionConfig
- ScheduledBackup
- LatestBackup
- 狀態
- 方法
資源:Service
提供中繼資料查詢服務的代管中繼存放區服務。
JSON 表示法 |
---|
{ "name": string, "createTime": string, "updateTime": string, "labels": { string: string, ... }, "network": string, "endpointUri": string, "port": integer, "state": enum ( |
欄位 | |
---|---|
name |
不可變動。Metastore 服務的相對資源名稱,格式如下:
|
createTime |
僅供輸出。建立 metastore 服務的時間。 採用 RFC3339 世界標準時間「Zulu」格式的時間戳記,精確度達奈秒單位,最多九個小數位數。例如: |
updateTime |
僅供輸出。上次更新中繼資料服務的時間。 採用 RFC3339 世界標準時間「Zulu」格式的時間戳記,精確度達奈秒單位,最多九個小數位數。例如: |
labels |
metastore 服務的使用者定義標籤。 包含 |
network |
不可變動。可存取執行個體的虛擬私人雲端網路相對資源名稱。其格式如下:
|
endpointUri |
僅供輸出。用於存取中繼存放區服務的端點 URI。 |
port |
中繼存放區服務的 TCP 通訊埠。預設值:9083。 |
state |
僅供輸出。metastore 服務目前的狀態。 |
stateMessage |
僅供輸出。與 metastore 服務目前狀態相關的其他資訊 (如有)。 |
artifactGcsUri |
僅供輸出。Cloud Storage URI (以 |
tier |
服務級別。 |
metadataIntegration |
(非必要) 這個設定會定義 metastore 中繼資料應如何與外部服務和系統整合。 |
maintenanceWindow |
Metastore 服務的 1 小時維護期間。這項屬性會以世界標準時間指定服務可重新啟動以進行維護的時間。使用 SPANNER 資料庫類型的服務不需要維護時間。 |
uid |
僅供輸出。元資料庫服務的全域專屬資源 ID。 |
metadataManagementActivity |
僅供輸出。metastore 服務的中繼資料管理活動。 |
releaseChannel |
不可變動。服務的發布版本。如未指定,則預設為 |
encryptionConfig |
不可變動。用於設定 Dataproc Metastore 服務,以便加密客戶的靜態資料。設定完成後即無法更新。 |
networkConfig |
指定 Dataproc Metastore 服務的網路設定。 |
databaseType |
不可變動。Metastore 服務儲存資料的資料庫類型。 |
telemetryConfig |
指定 Dataproc Metastore 服務遙測設定的設定。如未指定,則預設為 |
scalingConfig |
metastore 服務的資源調度設定。 |
multiRegionConfig |
(非必要) 指定 Hive 中繼儲存庫服務的多地區設定資訊。 |
scheduledBackup |
(非必要) 中繼資料服務的排定備份設定。 |
deletionProtection |
(非必要) 指出是否應保護 Dataproc 元資料庫,以免發生意外刪除。 |
聯集欄位 metastore_config 。特定於基礎中繼資料儲存庫服務技術 (提供中繼資料儲存庫查詢的軟體) 的設定屬性。metastore_config 只能是下列其中一項: |
|
hiveMetastoreConfig |
設定資訊,適用於將 Hive 中繼存放區軟體設為中繼存放區服務。 |
HiveMetastoreConfig
指定以 Hive 中繼存放區軟體做為中繼存放區服務的專屬設定資訊。
JSON 表示法 |
---|
{ "version": string, "configOverrides": { string: string, ... }, "kerberosConfig": { object ( |
欄位 | |
---|---|
version |
不可變動。Hive 中繼存放區結構定義版本。 |
configOverrides |
將套用至 Hive metastore 的 Hive metastore 設定鍵/值組合對應關係 (在 包含 |
kerberosConfig |
用於將 Hive 中繼存放區服務設為 Kerberos 領域中的服務主體。如要停用 Kerberos,請使用 |
endpointProtocol |
要用於 Metastore 服務端點的通訊協定。如未指定,則預設為 |
auxiliaryVersions |
將 Hive 中繼儲存庫版本對應至輔助版本設定。如有指定,建立主要服務時就會一併建立次要 Hive 中繼儲存庫服務。所有輔助版本都必須低於服務的主要版本。鍵是輔助服務名稱,且必須符合規則運算式 a-z?。也就是說,第一個字元必須是小寫英文字母,後續的所有字元則須由連字號、小寫英文字母或數字組成,但最後一個字元不得為連字號。 包含 |
KerberosConfig
Kerberos 主體的設定資訊。
JSON 表示法 |
---|
{
"keytab": {
object ( |
欄位 | |
---|---|
keytab |
Kerberos 鍵值檔案,可用於透過 Kerberos 金鑰發布中心 (KDC) 驗證服務主體。 |
principal |
存在於 KDC 和 Keytab 中的 Kerberos 主體,用於驗證。典型的主體會採用 |
krb5ConfigGcsUri |
指定 krb5.conf 檔案路徑的 Cloud Storage URI。檔案格式為 |
密鑰
安全儲存的值。
JSON 表示法 |
---|
{ // Union field |
欄位 | |
---|---|
聯集欄位
|
|
cloudSecret |
Secret Manager 密鑰版本的相對資源名稱,格式如下:
|
EndpointProtocol
可用於服務中繼存放區服務端點的通訊協定。
列舉 | |
---|---|
ENDPOINT_PROTOCOL_UNSPECIFIED |
未設定通訊協定。 |
THRIFT |
為 Metastore 服務端點使用舊版 Apache Thrift 通訊協定。 |
GRPC |
為 Metastore 服務端點使用翻新的 gRPC 通訊協定。 |
AuxiliaryVersionConfig
輔助服務版本的設定資訊。
JSON 表示法 |
---|
{
"version": string,
"configOverrides": {
string: string,
...
},
"networkConfig": {
object ( |
欄位 | |
---|---|
version |
輔助服務的 Hive 中繼儲存庫版本。必須低於主要 Hive 中繼存放區服務的版本。 |
configOverrides |
除了主要版本的覆寫值外,也要套用至輔助 Hive 中繼儲存庫 (在 包含 |
networkConfig |
僅供輸出。網路設定包含輔助 Hive 中繼儲存庫服務的端點 URI。 |
NetworkConfig
Dataproc Metastore 服務的網路設定。
JSON 表示法 |
---|
{
"consumers": [
{
object ( |
欄位 | |
---|---|
consumers[] |
不可變動。Dataproc Metastore 執行個體的使用者端網路設定。 |
customRoutesEnabled |
可讓您為 Dataproc Metastore 服務的對等虛擬私有雲網路匯入及匯出自訂路徑。 |
消費者
包含客戶的網路設定資訊。
JSON 表示法 |
---|
{ "endpointUri": string, "endpointLocation": string, // Union field |
欄位 | |
---|---|
endpointUri |
僅供輸出。用於存取中繼存放區服務的端點 URI。 |
endpointLocation |
僅供輸出。端點 URI 的位置。格式: |
聯集欄位
|
|
subnetwork |
不可變動。客戶專案的子網路,系統會從中預留 IP 位址,並用於做為 Dataproc Metastore 服務的端點。子網路中的主機和同區域和同網路中所有子網路的主機都可以存取。子網路的主要範圍中至少必須有一個可用的 IP 位址。子網路的格式如下:
|
狀態
metastore 服務目前的狀態。
列舉 | |
---|---|
STATE_UNSPECIFIED |
Metastore 服務的狀態不明。 |
CREATING |
Metastore 服務正在建立中。 |
ACTIVE |
中繼存放區服務已開始執行,可處理查詢。 |
SUSPENDING |
Metastore 服務即將進入暫停狀態。其查詢服務供應情形可能會突然停止。 |
SUSPENDED |
中繼存放區服務已暫停,無法處理查詢。 |
UPDATING |
正在更新 Metastore 服務。目前仍可使用,但無法接受額外的更新要求,也無法刪除。 |
DELETING |
正在刪除 Metastore 服務。無法使用。 |
ERROR |
Metastore 服務發生錯誤,無法使用。應刪除 Metastore 服務。 |
AUTOSCALING |
Dataproc Metastore 服務 2 正在縮放。 |
MIGRATING |
Metastore 服務正在處理受管理的遷移作業。 |
級別
可用的服務級別。
列舉 | |
---|---|
TIER_UNSPECIFIED |
未設定層級。 |
DEVELOPER |
開發人員級別的擴充性有限且無法容錯,適合低成本的概念驗證作業。 |
ENTERPRISE |
企業級提供多可用區高可用性,並具備足夠的擴充性,可用於企業級 Dataproc Metastore 工作負載。 |
MetadataIntegration
指定應如何將中繼資料中繼資料與外部服務整合。
JSON 表示法 |
---|
{ "dataCatalogConfig": { object ( |
欄位 | |
---|---|
dataCatalogConfig |
(非必要) Data Catalog 服務的整合設定。 |
dataplexConfig |
Dataplex 服務的整合設定。 |
DataCatalogConfig
指定 Metastore 中繼資料應如何與 Data Catalog 服務整合。
JSON 表示法 |
---|
{ "enabled": boolean } |
欄位 | |
---|---|
enabled |
(非必要) 定義是否應將中繼資料中繼資料同步至 Data Catalog。預設值會停用將中繼資料中繼資料同步至 Data Catalog 的功能。 |
DataplexConfig
指定 Metastore 中繼資料應如何與 Dataplex 服務整合。
JSON 表示法 |
---|
{
"lakeResources": {
string: {
object ( |
欄位 | |
---|---|
lakeResources |
參照這項 Metastore 服務所附加的 Lake 資源。其中鍵值是湖泊資源名稱。範例: 包含 |
湖泊
代表 Lake 資源
JSON 表示法 |
---|
{ "name": string } |
欄位 | |
---|---|
name |
Lake 資源名稱。範例: |
MaintenanceWindow
維護期間。這項設定會指定 Dataproc Metastore 可針對服務執行系統維護作業的時間。
JSON 表示法 |
---|
{
"hourOfDay": integer,
"dayOfWeek": enum ( |
欄位 | |
---|---|
hourOfDay |
供應期間開始的一天內時刻 (0-23)。 |
dayOfWeek |
開始時段的星期幾。 |
MetadataManagementActivity
metastore 服務的中繼資料管理活動。
JSON 表示法 |
---|
{ "metadataExports": [ { object ( |
欄位 | |
---|---|
metadataExports[] |
僅供輸出。Metastore 服務的最新中繼資料匯出內容。 |
restores[] |
僅供輸出。Metastore 服務的最新還原作業。 |
MetadataExport
中繼資料匯出作業的詳細資料。
JSON 表示法 |
---|
{ "startTime": string, "endTime": string, "state": enum ( |
欄位 | |
---|---|
startTime |
僅供輸出。匯出作業開始的時間。 採用 RFC3339 世界標準時間「Zulu」格式的時間戳記,精確度達奈秒單位,最多九個小數位數。例如: |
endTime |
僅供輸出。匯出作業結束的時間。 採用 RFC3339 世界標準時間「Zulu」格式的時間戳記,精確度達奈秒單位,最多九個小數位數。例如: |
state |
僅供輸出。匯出作業目前的狀態。 |
databaseDumpType |
僅供輸出。資料庫傾印的類型。 |
聯集欄位
|
|
destinationGcsUri |
僅供輸出。中繼資料匯出至的資料夾的 Cloud Storage URI,以 |
狀態
中繼資料匯出的目前狀態。
列舉 | |
---|---|
STATE_UNSPECIFIED |
中繼資料匯出作業的狀態不明。 |
RUNNING |
中繼資料匯出作業正在執行。 |
SUCCEEDED |
已成功匯出中繼資料。 |
FAILED |
無法匯出中繼資料。 |
CANCELLED |
中繼資料匯出作業已取消。 |
還原
中繼資料還原作業的詳細資料。
JSON 表示法 |
---|
{ "startTime": string, "endTime": string, "state": enum ( |
欄位 | |
---|---|
startTime |
僅供輸出。復原作業開始的時間。 採用 RFC3339 世界標準時間「Zulu」格式的時間戳記,精確度達奈秒單位,最多九個小數位數。例如: |
endTime |
僅供輸出。還原作業結束的時間。 採用 RFC3339 世界標準時間「Zulu」格式的時間戳記,精確度達奈秒單位,最多九個小數位數。例如: |
state |
僅供輸出。還原作業的目前狀態。 |
backup |
僅供輸出。要從中還原的 Metastore 服務備份的相對資源名稱,格式如下:
|
type |
僅供輸出。還原類型。 |
details |
僅供輸出。還原詳細資料,包含要還原至的服務修訂版本,格式為 JSON。 |
backupLocation |
(非必要) 指定備份構件儲存位置的 Cloud Storage URI,格式為 |
狀態
還原作業的目前狀態。
列舉 | |
---|---|
STATE_UNSPECIFIED |
中繼資料還原作業的狀態不明。 |
RUNNING |
中繼資料還原作業正在執行。 |
SUCCEEDED |
已成功還原中繼資料。 |
FAILED |
中繼資料還原作業失敗。 |
CANCELLED |
中繼資料還原作業已取消。 |
RestoreType
還原類型。如未指定,則預設為 METADATA_ONLY
。
列舉 | |
---|---|
RESTORE_TYPE_UNSPECIFIED |
還原類型不明。 |
FULL |
服務的中繼資料和設定會還原。 |
METADATA_ONLY |
系統只會還原服務的中繼資料。 |
ReleaseChannel
發布版本會將不同穩定程度的功能組合在一起。較新的功能可能會先導入較不穩定的發布版本管道,然後自動升級至較穩定的發布版本管道。
列舉 | |
---|---|
RELEASE_CHANNEL_UNSPECIFIED |
未指定發布版本。 |
CANARY |
CANARY 發布管道包含最新功能,但可能不穩定,且或許有未解決的問題,而且沒有已知的解決方法。使用 CANARY 發布版本的服務不受任何服務等級目標的約束。 |
STABLE |
STABLE 發布版的功能已通過驗證,可用於正式環境,並且具備良好穩定性。 |
EncryptionConfig
服務的加密設定。
JSON 表示法 |
---|
{ "kmsKey": string } |
欄位 | |
---|---|
kmsKey |
客戶提供的完整 Cloud KMS 金鑰名稱,用於加密客戶資料,格式如下:
|
DatabaseType
Metastore 服務的後端資料庫類型。
列舉 | |
---|---|
DATABASE_TYPE_UNSPECIFIED |
未設定 DATABASE_TYPE。 |
MYSQL |
MySQL 可用於儲存元資料庫資料。 |
SPANNER |
Spanner 可用於儲存中繼資料庫資料。 |
TelemetryConfig
Dataproc Metastore 服務的遙測設定。
JSON 表示法 |
---|
{
"logFormat": enum ( |
欄位 | |
---|---|
logFormat |
Dataproc Metastore 服務記錄的輸出格式。 |
LogFormat
列舉 | |
---|---|
LOG_FORMAT_UNSPECIFIED |
未設定 LOG_FORMAT。 |
LEGACY |
記錄輸出內容採用舊版 textPayload 格式。 |
JSON |
記錄輸出內容採用 jsonPayload 格式。 |
ScalingConfig
代表 Metastore 服務的資源調度設定。
JSON 表示法 |
---|
{ "autoscalingConfig": { object ( |
欄位 | |
---|---|
autoscalingConfig |
(非必要) 自動調度資源設定。 |
聯集欄位 scaling_model 。代表預先設定的執行個體大小或數字縮放比例。scaling_model 只能是下列其中一項: |
|
instanceSize |
可讀取的例項大小列舉,其中每個例項大小會對應至浮點值 (例如 InstanceSize.EXTRA_SMALL = scalingFactor(0.1)) |
scalingFactor |
縮放因數,如果值小於 1.0,則以 0.1 為單位遞增;如果值大於 1.0,則以 1.0 為單位遞增。 |
InstanceSize
元資料庫執行個體大小。
列舉 | |
---|---|
INSTANCE_SIZE_UNSPECIFIED |
未指定的執行個體大小 |
EXTRA_SMALL |
超小型執行個體大小,對應的調度因數為 0.1。 |
SMALL |
小型執行個體,對應的縮放因數為 0.5。 |
MEDIUM |
中等執行個體大小,對應的調度因數為 1.0。 |
LARGE |
大型執行個體大小,對應的調度因數為 3.0。 |
EXTRA_LARGE |
超大型執行個體大小,對應的調度因數為 6.0。 |
AutoscalingConfig
代表 Metastore 服務的自動調度資源設定。
JSON 表示法 |
---|
{
"autoscalingFactor": number,
"autoscalingEnabled": boolean,
"limitConfig": {
object ( |
欄位 | |
---|---|
autoscalingFactor |
僅供輸出。已啟用自動調度資源功能的服務縮放因數。 |
autoscalingEnabled |
(非必要) 是否為這項服務啟用自動調度資源功能。 |
limitConfig |
(非必要) 服務的 LimitConfig。 |
LimitConfig
代表 Metastore 服務的自動調度資源限制設定。
JSON 表示法 |
---|
{ "maxScalingFactor": number, "minScalingFactor": number } |
欄位 | |
---|---|
maxScalingFactor |
(非必要) 服務應自動調整至的最高縮放因數。 |
minScalingFactor |
(非必要) 服務應自動調整至的最低縮放因數。 |
MultiRegionConfig
Dataproc Metastore 服務的多區設定。
JSON 表示法 |
---|
{ "certificates": [ { object ( |
欄位 | |
---|---|
certificates[] |
僅供輸出。gRPC 用戶端用來連線至多區域 Dataproc Metastore 服務的根憑證授權單位憑證清單。 |
customRegionConfig |
|
RootCACertificate
gRPC 用戶端必須安裝所有根 CA 憑證,才能連線至跨區域 Dataproc Metastore 服務,並達成備援機制。
JSON 表示法 |
---|
{ "certificate": string, "expirationTime": string } |
欄位 | |
---|---|
certificate |
PEM 格式的根 CA 憑證。長度上限為 65536 個位元組。 |
expirationTime |
憑證到期時間 (以時間戳記格式表示)。 採用 RFC3339 世界標準時間「Zulu」格式的時間戳記,精確度達奈秒單位,最多九個小數位數。例如: |
CustomRegionConfig
用於指定中繼資料服務執行區域的自訂設定。目前僅支援 us
多地區。
JSON 表示法 |
---|
{ "readWriteRegions": [ string ], "readOnlyRegions": [ string ] } |
欄位 | |
---|---|
readWriteRegions[] |
這是必要旗標,執行元資料庫服務的讀寫區域清單。這些區域應是多區域的一部分 (或子集)。 |
readOnlyRegions[] |
(非必要) 執行 Metastore 服務的唯讀區域清單。這些區域應是多區域的一部分 (或子集)。 |
ScheduledBackup
這會指定排定備份的設定。
JSON 表示法 |
---|
{
"enabled": boolean,
"cronSchedule": string,
"timeZone": string,
"nextScheduledTime": string,
"backupLocation": string,
"latestBackup": {
object ( |
欄位 | |
---|---|
enabled |
(非必要) 定義是否啟用排定備份功能。預設值為 false。 |
cronSchedule |
(非必要) 定期間隔,格式為 Cron 格式,請參閱 https://en.wikipedia.org/wiki/Cron。預設值為空白:未啟用定期備份功能。必須指定此值才能啟用排定的備份。 |
timeZone |
(非必要) 指定解讀 cronSchedule 時要使用的時區。必須是時區資料庫 (https://en.wikipedia.org/wiki/List_of_tz_database_time_zones) 中的時區名稱,例如 America/Los_Angeles 或 Africa/Abidjan。如果未指定,預設值為世界標準時間。 |
nextScheduledTime |
僅供輸出。下次備份作業的預定開始時間。 採用 RFC3339 世界標準時間「Zulu」格式的時間戳記,精確度達奈秒單位,最多九個小數位數。例如: |
backupLocation |
(非必要) 資料夾的 Cloud Storage URI,格式為 |
latestBackup |
僅供輸出。最新的排定備份作業詳細資料。 |
LatestBackup
最新的排定備份作業詳細資料。
JSON 表示法 |
---|
{
"backupId": string,
"startTime": string,
"state": enum ( |
欄位 | |
---|---|
backupId |
僅供輸出。正在進行的排定備份作業 ID。如果沒有備份作業正在進行,則為空白。 |
startTime |
僅供輸出。開始備份的時間。 採用 RFC3339 世界標準時間「Zulu」格式的時間戳記,精確度達奈秒單位,最多九個小數位數。例如: |
state |
僅供輸出。備份的目前狀態。 |
duration |
僅供輸出。備份完成的時間長度。 以秒為單位的時間長度,最多可有 9 個小數位數,結尾為「 |
狀態
備份的目前狀態。
列舉 | |
---|---|
STATE_UNSPECIFIED |
備份作業狀態不明。 |
IN_PROGRESS |
正在備份。 |
SUCCEEDED |
備份已完成。 |
FAILED |
備份失敗。 |
方法 |
|
---|---|
|
變更中繼資料資源位置。 |
|
變更中繼資料表屬性。 |
|
取消進行中的受管理遷移程序。 |
|
完成受管理的遷移程序。 |
|
在專案和位置中建立 Metastore 服務。 |
|
刪除單一服務。 |
|
匯出服務中的中繼資料。 |
|
取得單一服務的詳細資料。 |
|
取得資源的存取權控管政策。 |
|
列出專案和位置中的服務。 |
|
將資料表移至其他資料庫。 |
|
更新單一服務的參數。 |
|
查詢 Dataproc Metastore 中繼資料。 |
|
移除資源的已附加 IAM 政策 |
|
從備份還原服務。 |
|
設定指定資源的存取權控管政策。 |
|
啟動受管理遷移程序。 |
|
傳回呼叫者在指定資源上擁有的權限。 |