Harga Katalog Universal Dataplex

Harga Katalog Universal Dataplex didasarkan pada penggunaan bayar sesuai penggunaan. Katalog Universal Dataplex saat ini mengenakan biaya berdasarkan SKU berikut:

• Pemrosesan Katalog Universal Dataplex (standar dan premium)
• Penyimpanan shuffle Katalog Universal Dataplex
• Penyimpanan metadata
• Panggilan Data Catalog API

Berikut adalah ringkasan tingkat tinggi tentang cara penagihan setiap kemampuan utama Katalog Universal Dataplex:

Selain penagihan ini, panggilan Data Catalog API dikenai biaya berdasarkan biaya Data Catalog API.

Penggunaan lainnya

Fitur organisasi data di Katalog Universal Dataplex (penyiapan lake, zona, atau aset), serta penerapan dan penyebarluasan kebijakan keamanan, disediakan tanpa biaya.

Selain itu, beberapa fungsi Katalog Universal Dataplex (termasuk tugas penyerapan data dan kualitas data terjadwal, serta konektor yang dikelola Katalog Universal Dataplex untuk menyerap metadata dari CloudSQL dan Looker) memicu eksekusi tugas menggunakan Dataproc Serverless, BigQuery, Dataflow, dan Cloud Scheduler. Penggunaan tersebut akan dikenai biaya menurut masing-masing model harga Dataproc, BigQuery, Dataflow, dan Cloud Scheduler, dan biaya akan muncul di bawah Dataproc, BigQuery, dan Dataflow, bukan Katalog Universal Dataplex.

Harga pemrosesan Katalog Universal Dataplex

Pemrosesan paket standar dan premium Katalog Universal Dataplex diukur oleh Unit Komputasi Data (DCU). Jam-DCU adalah unit penagihan abstrak untuk Katalog Universal Dataplex, dan pengukuran yang sebenarnya bergantung pada masing-masing fitur yang Anda gunakan.

Harga pemrosesan standar Katalog Universal Dataplex

Paket standar Katalog Universal Dataplex mencakup fungsi penemuan data yang menemukan metadata di seluruh data terkelola Katalog Universal Dataplex. Berikut adalah harga sesuai dengan region pilihan Anda.

Paket gratis Katalog Universal Dataplex

Sebagai bagian dari Paket Gratis Google Cloud, Dataplex Universal Catalog menawarkan beberapa resource gratis hingga batas tertentu. Batas penggunaan gratis ini tersedia selama dan setelah periode uji coba gratis. Jika Anda melampaui batas penggunaan ini dan tidak lagi dalam periode uji coba gratis, Anda akan dikenai biaya sesuai dengan harga yang dijelaskan pada bagian di atas.

Harga pemrosesan premium Katalog Universal Dataplex

Paket pemrosesan premium Dataplex mencakup silsilah data, kualitas data, pembuatan profil data, dan workbench eksplorasi data.

Tagihan DCU untuk setiap fitur dihitung seperti berikut:

• Pemindaian kualitas data otomatis:
  • Penggunaan jam-DCU sebanding dengan pemrosesan yang terlibat dalam pembuatan profil data dan penghitungan metrik kualitas data. Biaya ini ditagih per detik, dengan minimum satu menit.
  • Biaya bergantung pada jumlah baris, jumlah kolom, jumlah data yang telah Anda pindai, konfigurasi aturan kualitas data, setelan partisi dan pengklasteran pada tabel, serta frekuensi pemindaian.
  • Ada beberapa opsi untuk mengurangi biaya pemindaian kualitas data otomatis:
    • Sampling
    • Pemindaian inkremental
  • Untuk memisahkan biaya kualitas data dari biaya lain dalam SKU pemrosesan premium Dataplex, di Laporan Penagihan Cloud, gunakan label goog-dataplex-workload-type dengan nilai DATA_QUALITY.
  • Untuk memfilter total tagihan, gunakan label berikut yang tersedia dalam ekspor penagihan di BigQuery:
    • goog-dataplex-datascan-data-source-dataplex-entity
    • goog-dataplex-datascan-data-source-dataplex-lake
    • goog-dataplex-datascan-data-source-dataplex-zone
    • goog-dataplex-datascan-data-source-project
    • goog-dataplex-datascan-data-source-region
    • goog-dataplex-datascan-id
    • goog-dataplex-datascan-job-id
• Pemindaian Profiling Data:
  • Penggunaan jam-DCU sebanding dengan pemrosesan yang terlibat dalam pembuatan profil data dan penghitungan metrik kualitas data. Biaya ini ditagih per detik, dengan minimum satu menit.
  • Biaya bergantung pada jumlah baris, jumlah kolom, jumlah data yang dipindai, pemisahan partisi, dan setelan clustering pada tabel, serta frekuensi pemindaian.
  • Ada beberapa opsi untuk mengurangi biaya pemindaian profil data:
    • Sampling
    • Pemindaian inkremental
    • Pemfilteran kolom
    • Pemfilteran baris
  • Untuk memisahkan biaya pembuatan profil data dari biaya lainnya dalam SKU pemrosesan premium Dataplex, di Laporan Penagihan Cloud, gunakan label goog-dataplex-workload-type dengan nilai DATA_PROFILE.
  • Untuk memfilter total tagihan, gunakan label berikut yang tersedia dalam ekspor penagihan di BigQuery:
    • goog-dataplex-datascan-data-source-dataplex-entity
    • goog-dataplex-datascan-data-source-dataplex-lake
    • goog-dataplex-datascan-data-source-dataplex-zone
    • goog-dataplex-datascan-data-source-project
    • goog-dataplex-datascan-data-source-region
    • goog-dataplex-datascan-id
    • goog-dataplex-datascan-job-id
• Silsilah Data:
  • Konsumsi jam-DCU sebanding dengan pemrosesan yang terlibat dalam penguraian silsilah secara otomatis.
  • Untuk memisahkan tagihan silsilah data dari tagihan lainnya dalam SKU pemrosesan premium Dataplex, di Laporan Penagihan Cloud, gunakan label goog-dataplex-workload-type dengan nilai LINEAGE.
  • Jika Anda memanggil Origin sourceType Data Lineage API dengan nilai selain CUSTOM, hal ini akan menimbulkan biaya tambahan.
• Workbench eksplorasi data:
  • Jam-DCU dihitung berdasarkan penggunaan komputasi dari sesi.

Contoh harga silsilah data

Pengguna A mengaktifkan silsilah data untuk melacak silsilah BigQuery di project mereka. Project berada di lokasi us-central1. Selama satu bulan, silsilah data menggunakan pemrosesan Dataplex Premium selama 100 DCU-jam, dan menghasilkan 1 GiB metadata silsilah data. Biayanya sebesar:

100 * $0.089           // 100 DCU-hours of Dataplex Premium processing billed at $0.089 per DCU-hr

+ (1GiB - 1MiB) * $2   // cost of storing 1GiB data lineage metadata excluding 1MiB of free storage per month
  ---
  = $10.9

Harga penyimpanan shuffle Katalog Universal Dataplex

Harga penyimpanan shuffle mencakup semua penyimpanan disk yang ditentukan di lingkungan yang dikonfigurasi untuk workbench eksplorasi data.

Harga katalog

Bagian ini menjelaskan harga untuk catalog universal dan Data Catalog. Untuk mengetahui informasi selengkapnya tentang perbedaan antara katalog universal dan Data Catalog, lihat Katalog universal versus Data Catalog.

Biaya katalog universal berlaku untuk penyimpanan metadata untuk katalog universal, termasuk metadata yang disimpan untuk silsilah data. Biaya ini berlaku mulai 1 Agustus 2024.

Tagihan Data Catalog berlaku untuk penyimpanan metadata untuk Data Catalog dan panggilan API yang dilakukan ke Data Catalog API.

Biaya panggilan API dan penyimpanan metadata diakumulasikan setiap hari. Anda dapat melihat penggunaan yang tidak ditagih di .Google Cloud console

Harga penyimpanan metadata

Katalog Universal Dataplex menggunakan SKU penyimpanan metadata untuk menagih biaya penyimpanan metadata. Penyimpanan metadata diukur dalam gibibyte (GiB), dengan 1 GiB adalah 1.073.741.824 byte. Katalog universal dan Data Catalog mengukur jumlah rata-rata metadata yang disimpan selama interval waktu yang singkat. Untuk penagihan, pengukuran ini digabungkan menjadi rata-rata satu bulan, yang dikalikan dengan tarif bulanan.

Jika Anda melakukan pembayaran dengan mata uang selain USD, yang berlaku adalah harga yang tercantum dalam mata uang Anda pada SKU Cloud Platform.

Harga penyimpanan katalog universal

Biaya penyimpanan metadata (termasuk untuk entri dan aspek) akan ditagih ke project tempat resource tersebut dibuat.

Jika resource di Katalog Data tersedia secara bersamaan di katalog universal, Anda hanya akan dikenai biaya untuk satu instance aktif dari resource tersebut.

Harga penyimpanan Data Catalog

Harga API

Bagian ini menjelaskan harga untuk universal catalog dan Data Catalog API.

Biaya API katalog universal

Saat pengguna berinteraksi dengan katalog universal, panggilan API untuk hal-hal berikut tidak dikenai biaya:

• Membuat dan mengelola resource katalog universal
• Membuat dan mengelola resource silsilah, kecuali silsilah yang diambil secara otomatis
• Penelusuran katalog

Biaya Data Catalog API

Panggilan API Data Catalog dikenai biaya seperti yang dijelaskan dalam tabel berikut:

Jika Anda melakukan pembayaran dengan mata uang selain USD, yang berlaku adalah harga yang tercantum dalam mata uang Anda pada SKU Cloud Platform.

Contoh harga katalog universal

Bagian ini memberikan contoh cara menghitung biaya katalog universal.

Aspek kecil

• Pengguna A membuat dan menerapkan aspek kecil (masing-masing 1024 byte). Dengan $10 per bulan, pengguna dapat menyimpan 5 GB metadata, yang setara dengan sekitar 5 juta aspek. Dengan asumsi satu aspek per tabel, ini berarti ada total 5 juta tabel dengan aspek.

• Pengguna B membuat 5 juta aspek berukuran 1 KB pada tanggal 10 di bulan tersebut, dan menghapus aspek tersebut pada tanggal 20. Biayanya adalah $3,33, dihitung dari 5 GiB data dibagi sepertiga bulan:

5 GiB * $2
* 1/3
= $3.33

Aspek besar

• Pengguna C membuat dan menerapkan aspek besar (masing-masing 10 KB). Dengan $10 per bulan, pengguna dapat menyimpan 5 GiB metadata, yang setara dengan sekitar 500 ribu aspek. Dengan asumsi satu aspek per tabel, jumlah totalnya adalah 500 ribu tabel dengan aspek.

• Pengguna D membuat 10 ribu jenis aspek (misalnya ETL, tata kelola data, kualitas data), dan menerapkan aspek besar (masing-masing 10 KB) menggunakan 10 jenis aspek. Dengan biaya $10 per bulan, pengguna dapat menyimpan 5 GB metadata, yang setara dengan sekitar 500 ribu aspek. Dengan asumsi 10 aspek per tabel, totalnya ada 50 ribu tabel dengan aspek.

Langkah berikutnya

• Baca dokumentasi produk: Katalog Universal Dataplex, Katalog Data.
• Mulai menggunakan Katalog Universal Dataplex.
• Pelajari solusi dan kasus penggunaan Dataplex Universal Catalog.