Preise für Dataplex Universal Catalog

Die Preise für Dataplex Universal Catalog basieren auf der „Pay as you go“-Nutzung. Dataplex Universal Catalog wird derzeit auf der Grundlage der folgenden SKUs abgerechnet:

• Dataplex Universal Catalog-Verarbeitung (Standard und Premium)
• Dataplex Universal Catalog – Speicherplatz umlagern
• Metadatenspeicher
• Data Catalog API-Aufrufe

Im Folgenden finden Sie eine allgemeine Übersicht darüber, wie die einzelnen wichtigen Funktionen von Dataplex Universal Catalog abgerechnet werden:

Zusätzlich zu dieser Abrechnung werden Data Catalog API-Aufrufe basierend auf den Data Catalog API-Gebühren abgerechnet.

Andere Verwendungen

Die Funktionen zur Datenorganisation in Dataplex Universal Catalog (Einrichtung von Lake, Zone oder Asset) sowie die Anwendung und Verbreitung von Sicherheitsrichtlinien werden kostenlos bereitgestellt.

Außerdem lösen einige Funktionen von Dataplex Universal Catalog (einschließlich geplanter Aufgaben zur Datenqualität und Datenaufnahme sowie verwalteter Dataplex Universal Catalog-Connectors für die Aufnahme von Metadaten aus CloudSQL und Looker) die Jobausführung mit Dataproc Serverless, BigQuery, Dataflow und Cloud Scheduler aus. Die Kosten für diese Nutzungen werden entsprechend den Preismodellen von Dataproc, BigQuery, Dataflow und Cloud Scheduler berechnet. Die Gebühren werden unter Dataproc, BigQuery und Dataflow statt im Dataplex Universal Catalog angezeigt.

Preise für die Verarbeitung in Dataplex Universal Catalog

Die Dataplex Universal Catalog-Standard- und Premium-Verarbeitung wird anhand der Data Compute Unit (DCU) gemessen. Die DCU-Stunde ist eine abstrakte Abrechnungseinheit für Dataplex Universal Catalog. Die tatsächliche Messung hängt von den einzelnen verwendeten Funktionen ab.

Preise für die Standardverarbeitung in Dataplex Universal Catalog

Die Standardstufe von Dataplex Universal Catalog umfasst die Funktion zur Datenerkennung, die Metadaten in von Dataplex Universal Catalog verwalteten Daten erkennt. Die folgenden Preise gelten für die von Ihnen gewählte Region.

Kostenlose Stufe von Dataplex Universal Catalog

Im Rahmen der kostenlosen Stufe von Google Cloud bietet Dataplex Universal Catalog einige Ressourcen bis zu einem bestimmten Limit kostenlos an. Diese kostenlosen Nutzungskontingente sind während des kostenlosen Testzeitraums und auch danach verfügbar. Wenn Sie die Nutzungskontingente überschreiten und der kostenlose Testzeitraum abgelaufen ist, fallen die in den obigen Abschnitten beschriebenen Gebühren an.

Preise für Dataplex Universal Catalog Premium-Verarbeitung

Die Premium-Verarbeitungsstufe von Dataplex umfasst die Funktionen Datenherkunft, Datenqualität, Datenprofilerstellung und Explorative Workbench.

Die DCU-Gebühren für jedes Feature werden wie folgt berechnet:

• Automatische Datenqualitätsscans:
  • Der Verbrauch an DCU-Stunden ist proportional zur Verarbeitung, die für das Profilieren der Daten und das Berechnen der Messwerte für die Datenqualität erforderlich ist. Die Abrechnung erfolgt sekundengenau mit einer Mindestnutzungsdauer von einer Minute.
  • Die Kosten hängen von der Anzahl der Zeilen, der Anzahl der Spalten, der Menge der gescannten Daten, der Konfiguration der Datenqualitätsregeln, den Einstellungen für Partitionierung und Clustering der Tabelle sowie der Häufigkeit des Scans ab.
  • Es gibt mehrere Möglichkeiten, die Kosten für automatische Scans der Datenqualität zu senken:
    • Stichproben
    • Inkrementelle Scans
  • Um die Gebühren für die Datenqualität von anderen Gebühren in der Dataplex Premium Processing SKU zu trennen, verwenden Sie im Cloud-Abrechnungsbericht das Label goog-dataplex-workload-type mit dem Wert DATA_QUALITY.
  • Verwenden Sie zum Filtern von Gesamtkosten die folgenden Labels, die im Abrechnungsexport in BigQuery verfügbar sind:
    • goog-dataplex-datascan-data-source-dataplex-entity
    • goog-dataplex-datascan-datenquelle-dataplex-lake
    • goog-dataplex-datascan-datenquelle-dataplex-zone
    • goog-dataplex-datascan-data-source-project
    • goog-dataplex-datascan-datenquelle-region
    • goog-dataplex-datascan-id
    • goog-dataplex-datascan-job-id
• Datenprofilscans:
  • Der Verbrauch an DCU-Stunden ist proportional zur Verarbeitung, die für das Erstellen von Datenprofilen und das Berechnen der Datenqualitätsmesswerte erforderlich ist. Die Abrechnung erfolgt sekundengenau mit einer Mindestnutzungsdauer von einer Minute.
  • Die Kosten hängen von der Anzahl der Zeilen, Spalten, gescannten Daten, den Partitionierungs- und Clustering-Einstellungen der Tabelle sowie der Häufigkeit des Scans ab.
  • Es gibt mehrere Möglichkeiten, die Kosten für Datenprofilscans zu senken:
    • Probenahme
    • Inkrementelle Scans
    • Spaltenfilterung
    • Zeilenfilterung
  • Um die Kosten für das Data Profiling von anderen Kosten in der Dataplex Premium Processing SKU zu trennen, verwenden Sie im Cloud-Abrechnungsbericht das Label goog-dataplex-workload-type mit dem Wert DATA_PROFILE.
  • Verwenden Sie zum Filtern von Gesamtkosten die folgenden Labels, die im Abrechnungsexport in BigQuery verfügbar sind:
    • goog-dataplex-datascan-data-source-dataplex-entity
    • goog-dataplex-datascan-datenquelle-dataplex-lake
    • goog-dataplex-datascan-datenquelle-dataplex-zone
    • goog-dataplex-datascan-data-source-project
    • goog-dataplex-datascan-datenquelle-region
    • goog-dataplex-datascan-id
    • goog-dataplex-datascan-job-id
• Datenherkunft:
  • Der Verbrauch an DCU-Stunden ist proportional zur Verarbeitung, die für das automatische Parsen der Abstammung erforderlich ist.
  • Um die Kosten für die Datenherkunft von anderen Kosten in der Dataplex Premium Processing SKU zu trennen, verwenden Sie im Cloud-Abrechnungsbericht das Label goog-dataplex-workload-type mit dem Wert LINEAGE.
  • Wenn Sie die Data Lineage API Origin sourceType mit einem anderen Wert als CUSTOM aufrufen, entstehen zusätzliche Kosten.
• Workbench für die Datenexploration:
  • Die DCU-Stunde wird auf Grundlage des Rechenbedarfs der Sitzung berechnet.

Preisbeispiel für Data Lineage

Nutzer A aktiviert die Datenherkunft, um die Herkunft von BigQuery in seinem Projekt zu verfolgen. Das Projekt befindet sich in der Region us-central1. Innerhalb eines Monats verbraucht die Datenherkunft 100 DCU-Stunden an Dataplex Premium-Verarbeitung und erzeugt 1 GiB an Metadaten zur Datenherkunft. Die Kosten sind:

100 * $0.089           // 100 DCU-hours of Dataplex Premium processing billed at $0.089 per DCU-hr

+ (1GiB - 1MiB) * $2   // cost of storing 1GiB data lineage metadata excluding 1MiB of free storage per month
  ---
  = $10.9

Preise für Dataplex Universal Catalog-Speicher

Die Preise für Shuffle-Speicher umfassen den in den für die Data Exploration Workbench konfigurierten Umgebungen angegebenen Festplattenspeicher.

Katalogpreise

In diesem Abschnitt werden die Preise für den Universal Catalog und Data Catalog beschrieben. Weitere Informationen zu den Unterschieden zwischen Universal Catalog und Data Catalog finden Sie unter Universal Catalog im Vergleich zu Data Catalog.

Die Gebühren für den Universal Catalog gelten für den Metadatenspeicher für den Universal Catalog, einschließlich Metadaten, die für die Datenherkunft gespeichert werden. Diese Gebühren gelten ab dem 1. August 2024.

Die Gebühren für Data Catalog gelten für den Metadatenspeicher von Data Catalog und für API-Aufrufe über die Data Catalog API.

Die Gebühren für den Metadatenspeicher und API-Aufrufe fallen täglich an. Sie können die noch nicht abgerechnete Nutzung in der Google Cloud consoleeinsehen.

Preise für den Metadatenspeicher

Dataplex Universal Catalog verwendet die SKU für den Metadatenspeicher, um die Kosten für den Metadatenspeicher zu berechnen. Der Metadatenspeicher wird in Gibibyte (GiB) gemessen, wobei 1 GiB 1.073.741.824 Byte entspricht. Der Universal Catalog und der Data Catalog messen die durchschnittliche Menge der gespeicherten Metadaten in einem kurzen Zeitintervall. Für die Abrechnung werden diese Messungen zu einem Monatsdurchschnitt zusammengefasst, der mit der monatlichen Rate multipliziert wird.

Wenn Sie in einer anderen Währung als US-Dollar bezahlen, gelten die Preise, die unter Cloud Platform SKUs für Ihre Währung angegeben sind.

Preise für Universal Catalog Storage

Die Kosten für den Metadatenspeicher (einschließlich der Kosten für Einträge und Aspekte) werden dem Projekt in Rechnung gestellt, in dem die jeweilige Ressource erstellt wurde.

Wenn eine Ressource im Data Catalog gleichzeitig im Universal Catalog verfügbar gemacht wird, wird nur eine aktive Instanz dieser Ressource in Rechnung gestellt.

Preise für Data Catalog-Speicher

API-Preise

In diesem Abschnitt werden die Preise für die Universal Catalog- und Data Catalog-APIs beschrieben.

Kosten für die Universal Catalog API

Wenn Nutzer mit dem Universalkatalog interagieren, sind API-Aufrufe für Folgendes kostenlos:

• Universalkatalog-Ressourcen erstellen und verwalten
• Ressourcen für die Herkunftsverfolgung erstellen und verwalten, mit Ausnahme von automatisch erfassten Daten
• Katalogsuche

Kosten für Data Catalog API

Data Catalog API-Aufrufe werden wie in der folgenden Tabelle beschrieben abgerechnet:

Wenn Sie in einer anderen Währung als US-Dollar bezahlen, gelten die Preise, die unter Cloud Platform SKUs für Ihre Währung angegeben sind.

Preisbeispiele für den Universalkatalog

In diesem Abschnitt finden Sie Beispiele für die Berechnung der Kosten für den Universalkatalog.

Kleine Details

• Nutzer A erstellt und wendet kleine Aspekte an (jeweils 1.024 Byte). Für 10 $pro Monat kann der Nutzer 5 GiB Metadaten speichern, was ungefähr 5 Mio. Aspekten entspricht. Geht man von einem Aspekt pro Tabelle aus, ergibt das insgesamt 5 Mio. Tabellen mit Aspekten.

• Nutzer B erstellt am 10. des Monats 5 Mio. Aspekte mit jeweils 1 KB und löscht die Aspekte am 20. Die Kosten betragen 3,33 $, berechnet als 5 GiB Daten geteilt durch ein Drittel des Monats:

5 GiB * $2
* 1/3
= $3.33

Große Aspekte

• Nutzer C erstellt und wendet große Aspekte an (jeweils 10 KB). Für 10 $pro Monat kann der Nutzer 5 GiB Metadaten speichern, was ungefähr 500.000 Aspekten entspricht. Geht man von einem Aspekt pro Tabelle aus, ergibt das insgesamt 500.000 Tabellen mit Aspekten.

• Nutzer D erstellt 10.000 Aspekttypen (z. B. ETL, Data Governance, Data Quality) und wendet große Aspekte (jeweils 10 KB) mit jedem der 10 Aspekttypen an. Für 10 $pro Monat kann der Nutzer 5 GiB Metadaten speichern, was ungefähr 500.000 Aspekten entspricht. Geht man von 10 Aspekten pro Tabelle aus, ergibt das insgesamt 50.000 Tabellen mit Aspekten.

Nächste Schritte

• Lesen Sie die Produktdokumentation: Dataplex Universal Catalog, Data Catalog.
• Erste Schritte mit Dataplex Universal Catalog
• Mehr zu Lösungen und Anwendungsfällen für Dataplex Universal Catalog.