Dataplex Universal Catalog 定價
Dataplex Universal Catalog 定價採即付即用制,用多少付多少。Dataplex Universal Catalog 目前的收費方式是根據下列 SKU 計費:
- Dataplex Universal Catalog 處理作業 (標準和進階)
- Dataplex Universal Catalog 重組儲存空間
- 中繼資料儲存空間
- Data Catalog API 呼叫
以下是每項 Dataplex Universal Catalog 重要功能的收費方式概略說明:
功能 | Dataplex Universal Catalog 處理作業 | Dataplex Universal Catalog 重組儲存空間 | 中繼資料儲存空間 |
---|---|---|---|
Cloud Storage 中繼資料擷取 | 標準 | 不適用 | 不適用 |
資料探索工作站 | 進階 | 是 | 不適用 |
資料歷程 | 進階 | 不適用 | 是 |
資料品質 | 進階 | 不適用 | 是 - 如果發布至 Data Catalog |
資料剖析 | 進階 | 不適用 | 是 - 如果發布至 Data Catalog |
在 BigQuery 通用目錄中豐富中繼資料 | 不適用 | 不適用 | 是 |
在 Data Catalog 中充實中繼資料 | 不適用 | 不適用 | 是 |
除了這項計費項目外,Data Catalog API 呼叫會依據 Data Catalog API 費用計費。
其他使用情形
Dataplex Universal Catalog 的資料整理功能 (湖泊、可用區或資產設定) 和安全性政策套用及傳播功能皆為免費提供。
此外,部分 Dataplex 通用目錄功能 (包括排定的資料品質和資料擷取工作,以及用於擷取 CloudSQL 和 Looker 中繼資料的 Dataplex 通用目錄代管連接器) 會使用 Dataproc Serverless、BigQuery、Dataflow 和 Cloud Scheduler 觸發工作執行作業。這些用量會分別依據 Dataproc、BigQuery、Dataflow 和 Cloud Scheduler 定價模式收費,費用會顯示在 Dataproc、BigQuery 和 Dataflow 下方,而不是 Dataplex 通用目錄。
Dataplex Universal Catalog 處理作業定價
標準級和進階級 Dataplex Universal Catalog 處理作業皆按資料運算單元 (DCU) 計量收費。Dataplex Universal Catalog 的基本計費單位為 DCU 時數,實際用量和費用計算方式則視您使用的個別功能而定。
Dataplex Universal Catalog 標準處理作業定價
標準級 Dataplex Universal Catalog 支援資料探索功能,可探索 Dataplex Universal Catalog 管理的資料中繼資料。以下是根據所選區域計算的價格
Dataplex Universal Catalog 免費方案
在 Google Cloud 免費方案下,Dataplex Universal Catalog 的部分資源在一定限度內可供使用者免費使用。在免費試用期間或試用期結束後,只要用量未超出限制,即可免費使用特定資源。免費試用期結束後,如果您超過用量限制,系統就會根據上述各節所述的定價向您收費。
資源 | 每月免費用量限制 |
---|---|
Dataplex Universal Catalog 處理作業 | 100 DCU 時數 |
Dataplex Universal Catalog 進階處理定價
進階級 Dataplex 處理作業涵蓋資料歷程、資料品質、資料剖析和 Data Exploration Workbench。
每項功能的 DCU 費用計算方式如下:
- 自動資料品質掃描:
- 消耗的 DCU 小時數會與資料分析和計算資料品質指標的處理作業成比例。以秒計費,最少會產生 1 分鐘的基本費用。
- 費用取決於資料列數、資料欄數、掃描的資料量、資料品質規則設定、資料表的分割和叢集設定,以及掃描的頻率。
- 您可以採取下列幾種做法,降低自動資料品質掃描作業的費用:
- 如要將資料品質費用與 Dataplex 進階處理 SKU 中的其他費用區隔開來,請在 Cloud 結算報告中,使用標籤 goog-dataplex-workload-type,並將值設為「DATA_QUALITY」。
- 如要篩選匯總費用,請使用 BigQuery 帳單匯出功能中的下列標籤:
- goog-dataplex-datascan-data-source-dataplex-entity
- goog-dataplex-datascan-資料來源-dataplex-lake
- goog-dataplex-datascan-data-source-dataplex-zone
- goog-dataplex-datascan-data-source-project
- goog-dataplex-datascan-data-source-region
- goog-dataplex-datascan-id
- goog-dataplex-datascan-job-id
- 資料剖析掃描:
- 消耗的 DCU 小時數會與資料分析和計算資料品質指標的處理作業成比例。以秒計費,最少會產生 1 分鐘的基本費用。
- 費用取決於資料列數量、資料欄數量、掃描的資料量、資料表的分區和叢集設定,以及掃描的頻率。
- 以下提供幾種降低資料剖析掃描成本的方法:
- 取樣
- 增量掃描
- 資料欄篩選
- 資料列篩選
- 如要將資料剖析費用與 Dataplex 進階處理 SKU 中的其他費用區隔開來,請在 Cloud 結算報告中,使用標籤 goog-dataplex-workload-type,並將值設為「DATA_PROFILE」。
- 如要篩選匯總費用,請使用 BigQuery 帳單匯出功能中的下列標籤:
- goog-dataplex-datascan-data-source-dataplex-entity
- goog-dataplex-datascan-資料來源-dataplex-lake
- goog-dataplex-datascan-data-source-dataplex-zone
- goog-dataplex-datascan-data-source-project
- goog-dataplex-datascan-data-source-region
- goog-dataplex-datascan-id
- goog-dataplex-datascan-job-id
- 資料歷程:
- 系統會根據自動剖析歷程所需的處理量,按比例收取 DCU 小時。
- 如要將資料歷程費用與 Dataplex 付費處理 SKU 中的其他費用區隔開來,請在 Cloud 結算報告中,使用標籤 goog-dataplex-workload-type,並將值設為 LINEAGE。
- 如果您呼叫 Data Lineage API Origin
sourceType
,但傳入的值並非CUSTOM
,系統會額外收取費用。
- 資料探索工作站:
- DCU 小時數是根據工作階段的運算用量計算而得。
資料歷程計費示例
使用者 A 啟用資料歷程,以便追蹤專案中 BigQuery 的歷程。這個專案位於 us-central1 位置。在一個月內,資料歷程功能會消耗 100 個 DCU 時數的 Dataplex Premium 處理作業,並產生 1 GiB 的資料歷程中繼資料。費用為:
100 * $0.089 // 100 DCU-hours of Dataplex Premium processing billed at $0.089 per DCU-hr
+ (1GiB - 1MiB) * $2 // cost of storing 1GiB data lineage metadata excluding 1MiB of free storage per month
---
= $10.9
Dataplex Universal Catalog 重組儲存空間定價
重組儲存空間定價適用 資料探索工作台所設環境中指定的所有磁碟儲存空間。
目錄定價
本節說明通用目錄和 Data Catalog 的定價。如要進一步瞭解通用目錄和 Data Catalog 的差異,請參閱通用目錄與 Data Catalog 的比較。
通用目錄中繼資料儲存空間的費用適用於儲存通用目錄中繼資料,包括儲存的資料歷程中繼資料。這些費用將於 2024 年 8 月 1 日生效。
Data Catalog 的費用會計入 Data Catalog 中繼資料儲存空間和 Data Catalog API 的 API 呼叫。
中繼資料儲存空間和 API 呼叫的費用會逐日累計,如要查看未出帳的使用量,請前往Google Cloud console。
中繼資料儲存空間定價
Dataplex Universal Catalog 會使用中繼資料儲存空間 SKU 收取中繼資料儲存空間費用。中繼資料儲存空間的計算單位是千兆位元組 (GiB),1 GiB 為 1,073,741,824 位元組。 Universal Catalog 和 Data Catalog 會測量在一小段時間中的平均中繼資料儲存量。我們會匯總這些數據,算出一個月的平均值,再將這個平均值乘以每月費率,以此計費。
如果您使用美元以外的貨幣付費,則會按照 Cloud Platform SKU 頁面列出的相應貨幣價格計費。
通用目錄儲存空間定價
中繼資料儲存空間費用 (包括項目和面向費用) 會計入建立相應資源的專案。
每月平均儲存空間 | 價格 (美元) |
---|---|
不限 | 每月每 GiB $2 美元 |
當 Data Catalog 中的資源同時在通用目錄中提供,您只需為該資源的一個有效執行個體付費。
Data Catalog 儲存空間定價
每月平均儲存空間 | 價格 (美元) |
---|---|
最多 1 MiB | 不必支付任何費用 |
超過 1 MiB | 每月每 GiB $2 美元 |
API 定價
本節說明通用目錄和 Data Catalog API 的定價。
通用目錄 API 費用
使用者與通用目錄互動時,下列 API 呼叫免費:
- 建立及管理通用目錄資源
- 建立及管理歷程資源,但自動擷取的歷程除外
- 目錄搜尋
Data Catalog API 費用
系統會依下表所述的方式計費,收費標準如下:
API 呼叫 | 價格 (美元) |
---|---|
當月 100 萬次 | 不必支付任何費用 |
當月超過 100 萬次 | 每 100,000 次 API 呼叫 $10 美元 |
如果您使用美元以外的貨幣付費,則會按照 Cloud Platform SKU 頁面列出的相應貨幣價格計費。
通用目錄計費示例
本節提供通用片庫費用的計算示例。
小細節
使用者 A 建立並套用了小型面向 (每個面向 1,024 位元組)。如果每月支付 $10 美元,該使用者可儲存 5 GiB 的中繼資料,相當於約 500 萬個屬性。假設每個資料表都有一個面向,這代表總共有 500 萬個含有面向的資料表。
使用者 B 在當月 10 日建立 500 萬個 1 KB 的面向,然後在 20 日加以刪除。費用為 $3.33 美元,計算方式為 5 GiB 的資料除以三分之一個月:
5 GiB * $2
* 1/3
= $3.33
大型面向
使用者 C 建立並套用了大型面向 (每個面向 10 KB)。如果每月支付 $10 美元,該使用者可儲存 5 GiB 的中繼資料,相當於約 50 萬個面向。假設每個資料表都有一個面向,則總共有 50 萬個含有面向的資料表。
使用者 D 建立了 10,000 個面向類型 (例如 ETL、資料管理、資料品質),並為這 10 個面向類型套用大型面向 (每個 10 KB)。如果每月支付 $10 美元,該使用者可儲存 5 GiB 的中繼資料,相當於約 50 萬個面向。假設每個資料表有 10 個面向,則總共會有 5 萬個含有面向的資料表。
後續步驟
- 閱讀產品說明文件:Dataplex Universal Catalog、Data Catalog。
- 開始使用 Dataplex Universal Catalog。
- 瞭解 Dataplex Universal Catalog 解決方案和應用實例。