Harga Katalog Universal Dataplex

Harga Katalog Universal Dataplex didasarkan pada penggunaan bayar sesuai penggunaan. Dataplex Universal Catalog saat ini mengenakan biaya berdasarkan SKU berikut:

• Pemrosesan Katalog Universal Dataplex (standar dan premium)
• Penyimpanan shuffle Katalog Universal Dataplex
• Penyimpanan metadata
• Panggilan Data Catalog API

Berikut adalah ringkasan tingkat tinggi tentang cara penagihan setiap kemampuan utama Dataplex Universal Catalog:

Selain penagihan ini, panggilan Data Catalog API ditagih berdasarkan biaya Data Catalog API.

Penggunaan lainnya

Fitur organisasi data di Katalog Universal Dataplex (penyiapan lake, zona, atau aset), serta penerapan dan penyebarluasan kebijakan keamanan, disediakan tanpa biaya.

Selain itu, beberapa fungsi Dataplex Universal Catalog (termasuk tugas penyerapan data dan kualitas data terjadwal, serta konektor yang dikelola Dataplex Universal Catalog untuk menyerap metadata dari CloudSQL dan Looker) memicu eksekusi tugas menggunakan Google Cloud Serverless untuk Apache Spark, BigQuery, Dataflow, dan Cloud Scheduler. Penggunaan tersebut akan dikenai biaya menurut masing-masing model harga Dataproc, BigQuery, Dataflow, dan Cloud Scheduler, dan biaya akan muncul di bawah Dataproc, BigQuery, dan Dataflow, bukan Katalog Universal Dataplex.

Harga pemrosesan Katalog Universal Dataplex

Pemrosesan paket standar dan premium Katalog Universal Dataplex diukur oleh Unit Komputasi Data (DCU). Jam-DCU adalah unit penagihan abstrak untuk Katalog Universal Dataplex, dan pengukuran yang sebenarnya bergantung pada masing-masing fitur yang Anda gunakan.

Harga pemrosesan standar Katalog Universal Dataplex

Paket standar Dataplex Universal Catalog mencakup fungsi penemuan data yang menemukan metadata di seluruh data terkelola Dataplex Universal Catalog. Berikut adalah harga sesuai dengan region pilihan Anda.

Paket gratis Katalog Universal Dataplex

Sebagai bagian dari Paket Gratis Google Cloud, Katalog Universal Dataplex menawarkan beberapa resource gratis hingga batas tertentu. Batas penggunaan gratis ini tersedia selama dan setelah periode uji coba gratis. Jika Anda melampaui batas penggunaan ini dan tidak lagi dalam periode uji coba gratis, Anda akan dikenai biaya sesuai dengan harga yang dijelaskan pada bagian di atas.

Harga pemrosesan premium Katalog Universal Dataplex

Paket pemrosesan premium Dataplex mencakup urutan data, kualitas data, pembuatan profil data, dan workbench eksplorasi data.

Tagihan DCU untuk setiap fitur dihitung sebagai berikut:

• Pemindaian kualitas data otomatis:
  • Penggunaan jam-DCU setara dengan pemrosesan yang terlibat dalam pembuatan profil data dan penghitungan metrik kualitas data. Biaya ini ditagih per detik, dengan minimum satu menit.
  • Biaya bergantung pada jumlah baris, jumlah kolom, jumlah data yang Anda pindai, konfigurasi aturan kualitas data, setelan partisi dan pengelompokan pada tabel, serta frekuensi pemindaian.
  • Ada beberapa opsi untuk mengurangi biaya pemindaian kualitas data otomatis:
    • Sampling
    • Pemindaian inkremental
  • Untuk memisahkan biaya kualitas data dari biaya lainnya dalam SKU pemrosesan premium Dataplex, gunakan label goog-dataplex-workload-type dengan nilai DATA_QUALITY di laporan Penagihan Cloud.
  • Untuk memfilter biaya gabungan, gunakan label berikut yang tersedia dalam ekspor penagihan di BigQuery:
    • goog-dataplex-datascan-data-source-dataplex-entity
    • goog-dataplex-datascan-data-source-dataplex-lake
    • goog-dataplex-datascan-data-source-dataplex-zone
    • goog-dataplex-datascan-data-source-project
    • goog-dataplex-datascan-data-source-region
    • goog-dataplex-datascan-id
    • goog-dataplex-datascan-job-id
• Pemindaian Pembuatan Profil Data:
  • Penggunaan jam-DCU setara dengan pemrosesan yang terlibat dalam pembuatan profil data dan penghitungan metrik kualitas data. Biaya ini ditagih per detik, dengan minimum satu menit.
  • Biaya bergantung pada jumlah baris, jumlah kolom, jumlah data yang dipindai, setelan partisi dan pengelompokan pada tabel, serta frekuensi pemindaian.
  • Ada beberapa opsi untuk mengurangi biaya pemindaian profil data:
    • Pengambilan sampel
    • Pemindaian inkremental
    • Pemfilteran kolom
    • Pemfilteran baris
  • Untuk memisahkan biaya pembuatan profil data dari biaya lainnya dalam SKU pemrosesan premium Dataplex, di laporan Penagihan Cloud, gunakan label goog-dataplex-workload-type dengan nilai DATA_PROFILE.
  • Untuk memfilter biaya gabungan, gunakan label berikut yang tersedia dalam ekspor penagihan di BigQuery:
    • goog-dataplex-datascan-data-source-dataplex-entity
    • goog-dataplex-datascan-data-source-dataplex-lake
    • goog-dataplex-datascan-data-source-dataplex-zone
    • goog-dataplex-datascan-data-source-project
    • goog-dataplex-datascan-data-source-region
    • goog-dataplex-datascan-id
    • goog-dataplex-datascan-job-id
• Urutan Data:
  • Konsumsi jam-DCU sebanding dengan pemrosesan yang terlibat dalam penguraian urutan secara otomatis.
  • Untuk memisahkan biaya urutan data dari biaya lainnya dalam SKU pemrosesan premium Dataplex, gunakan label goog-dataplex-workload-type dengan nilai LINEAGE di laporan Penagihan Cloud.
  • Jika Anda memanggil Origin Data Lineage API sourceType dengan nilai selain CUSTOM, hal ini akan menimbulkan biaya tambahan.
• Workbench eksplorasi data:
  • Jam-DCU dihitung berdasarkan penggunaan komputasi sesi.

Contoh harga urutan data

Pengguna A mengaktifkan silsilah data untuk melacak silsilah BigQuery di projectnya. Project ini berada di lokasi us-central1. Selama satu bulan, silsilah data menggunakan 100 DCU-jam pemrosesan Premium Dataplex, dan menghasilkan 1 GiB metadata silsilah data. Biayanya adalah sebesar:

100 * $0.089           // 100 DCU-hours of Dataplex Premium processing billed at $0.089 per DCU-hr

+ (1GiB - 1MiB) * $2   // cost of storing 1GiB data lineage metadata excluding 1MiB of free storage per month
  ---
  = $10.9

Harga penyimpanan shuffle Katalog Universal Dataplex

Harga penyimpanan shuffle mencakup semua penyimpanan disk yang ditentukan di lingkungan yang dikonfigurasi untuk workbench eksplorasi data.

Harga katalog

Bagian ini menjelaskan harga untuk kemampuan pengelolaan katalog di Dataplex Universal Catalog dan Data Catalog. Untuk mengetahui informasi selengkapnya tentang perbedaan antara Dataplex Universal Catalog dan Data Catalog, lihat Dataplex Universal Catalog versus Data Catalog.

Tagihan Katalog Universal Dataplex berlaku untuk penyimpanan metadata untuk Katalog Universal Dataplex, termasuk metadata yang disimpan untuk silsilah data. Biaya ini berlaku mulai 1 Agustus 2024.

Tagihan Data Catalog berlaku untuk penyimpanan metadata untuk Data Catalog dan panggilan API yang dilakukan ke Data Catalog API.

Biaya penyimpanan metadata dan panggilan API diakumulasikan setiap hari. Anda dapat melihat penggunaan yang tidak ditagih di Konsol API Google.

Harga penyimpanan metadata

Dataplex Universal Catalog menggunakan SKU penyimpanan metadata untuk mengenakan biaya penyimpanan metadata. Penyimpanan metadata diukur dalam gibibyte (GiB), dengan 1 GiB adalah 1.073.741.824 byte. Dataplex Universal Catalog dan Data Catalog mengukur jumlah rata-rata metadata yang disimpan selama interval waktu yang singkat. Untuk penagihan, pengukuran ini digabungkan menjadi rata-rata satu bulan, yang dikalikan dengan tarif bulanan.

Jika Anda melakukan pembayaran dengan mata uang selain USD, yang berlaku adalah harga yang tercantum dalam mata uang Anda pada SKU Cloud Platform.

Harga penyimpanan Katalog Universal Dataplex

Biaya penyimpanan metadata (termasuk entri dan aspek) ditagihkan ke project tempat resource terkait dibuat.

Jika resource di Data Catalog tersedia secara bersamaan di Dataplex Universal Catalog, Anda hanya akan dikenai biaya untuk satu instance aktif dari resource tersebut.

Harga penyimpanan Data Catalog

Harga API

Bagian ini menjelaskan harga untuk Dataplex Universal Catalog dan Data Catalog API.

Biaya API Katalog Universal Dataplex

Saat pengguna berinteraksi dengan Dataplex Universal Catalog, panggilan API untuk hal berikut tidak dikenai biaya:

• Membuat dan mengelola resource katalog
• Membuat dan mengelola resource silsilah, kecuali silsilah yang diperoleh secara otomatis
• Penelusuran katalog

Biaya Data Catalog API

Panggilan Data Catalog API ditagih seperti yang dijelaskan dalam tabel berikut:

Jika Anda melakukan pembayaran dengan mata uang selain USD, yang berlaku adalah harga yang tercantum dalam mata uang Anda pada SKU Cloud Platform.

Contoh harga Katalog Universal Dataplex

Bagian ini memberikan contoh cara menghitung biaya Katalog Universal Dataplex.

Aspek kecil

• Pengguna A membuat dan menerapkan aspek kecil (masing-masing 1.024 byte). Dengan $10 per bulan, pengguna dapat menyimpan 5 GiB metadata, yang kira-kira setara dengan 5 juta aspek. Dengan asumsi satu aspek per tabel, jumlah total tabel dengan aspek adalah 5 juta.

• Pengguna B membuat 5 juta aspek berukuran 1 KB setiap aspek pada tanggal 10 bulan tersebut, dan menghapus aspek tersebut pada tanggal 20. Biayanya adalah $3,33, yang dihitung sebagai 5 GiB data dibagi sepertiga bulan:

5 GiB * $2
* 1/3
= $3.33

Aspek besar

• Pengguna C membuat dan menerapkan aspek besar (10 KB setiap aspek). Dengan $10 per bulan, pengguna dapat menyimpan 5 GiB metadata, yang setara dengan sekitar 500 ribu aspek. Dengan asumsi satu aspek per tabel, jumlahnya mencapai total 500 ribu tabel dengan aspek.

• Pengguna D membuat 10 ribu jenis aspek (misalnya ETL, tata kelola data, kualitas data), dan menerapkan aspek besar (masing-masing 10 KB) menggunakan masing-masing dari 10 jenis aspek. Dengan $10 per bulan, pengguna dapat menyimpan 5 GiB metadata, yang kira-kira setara dengan 500 ribu aspek. Dengan asumsi 10 aspek per tabel, jumlahnya mencapai total 50 ribu tabel dengan aspek.

Langkah berikutnya

• Baca dokumentasi produk: Dataplex Universal Catalog, Data Catalog.
• Mulai menggunakan Dataplex Universal Catalog.
• Pelajari solusi dan kasus penggunaan Katalog Universal Dataplex.