Wenn Sie einen Dataproc Metastore-Dienst erstellen, müssen Sie entweder den MySQL- oder den Spanner-Datenbanktyp auswählen.
Diese Auswahl wirkt sich auf die Funktionen aus, die Sie in Ihren Dataproc Metastore-Dienst einbinden und mit ihm verwenden können. Wichtig: Sie können den Datenbanktyp nicht mehr aktualisieren, nachdem Sie einen Dataproc Metastore-Dienst erstellt haben. Achten Sie darauf, den für Ihre Anforderungen geeigneten Datenbanktyp auszuwählen.
Auf dieser Seite werden die Unterschiede zwischen diesen Datenbanktypen erläutert und es wird beschrieben, wie Sie einen für Ihren Dienst auswählen.
Unterschiede zwischen MySQL und Spanner
MySQL
Der MySQL-Datenbanktyp von Dataproc Metastore ist eine Implementierung von Cloud SQL. Beachten Sie bei der Verwendung einer MySQL-Datenbank Folgendes:
- MySQL ist der Standarddatenbanktyp beim Erstellen eines Dataproc Metastore.
- MySQL wird von allen Hive-Versionen unterstützt.
- MySQL unterstützt alle Dataproc Metastore-Funktionen.
- MySQL unterstützt die Dataproc Metastore-Verschlüsselung, z. B. mit vom Kunden verwalteten Verschlüsselungsschlüsseln (Customer-Managed Encryption Keys, CMEK).
Spanner
Der Dataproc Metastore-Spanner-Datenbanktyp ist eine Implementierung von Spanner. Beachten Sie bei der Verwendung einer Spanner-Datenbank Folgendes:
- Spanner wird nur in Hive-Versionen 2.3.6 und 3.1.2 unterstützt.
- Spanner unterstützt nur Avro-Importe.
Weitere Informationen
In der folgenden Tabelle finden Sie weitere Informationen zu diesen Unterschieden.
MySQL | Spanner | |
---|---|---|
Zuverlässigkeit (Verfügbarkeit) | Cloud SQL-SLO 99,95%* | Spanner-SLO 99,99%* |
Wartungsfenster | Erforderlich | Nicht erforderlich |
Hinweise:
- * Die Cloud SQL- und Spanner-SLOs lassen sich nicht direkt auf Dataproc Metastore-SLOs übertragen. Dataproc Metastore Die Auswahl des Datenbanktyps hat keine Auswirkungen auf die Dataproc Metastore-SLOs.
- Es gibt keinen Preisunterschied zwischen den beiden Datenbanktypen.
Hinweise
- Aktivieren Sie Dataproc Metastore in Ihrem Projekt.
- Netzwerkanforderungen für Ihr Projekt
Erforderliche Rollen
Bitten Sie Ihren Administrator, Ihnen die folgenden IAM-Rollen für Ihr Projekt zuzuweisen, um die Berechtigung zu erhalten, die Sie zum Erstellen eines Dataproc Metastore benötigen. Dabei gilt das Prinzip der geringsten Berechtigung:
-
Vollständige Kontrolle über Dataproc Metastore-Ressourcen gewähren (
roles/metastore.editor
) -
Vollzugriff auf alle Dataproc Metastore-Ressourcen gewähren, einschließlich der IAM-Richtlinienverwaltung (
roles/metastore.admin
)
Weitere Informationen zum Zuweisen von Rollen finden Sie unter Zugriff auf Projekte, Ordner und Organisationen verwalten.
Diese vordefinierte Rolle enthält die Berechtigung metastore.services.create
, die zum Erstellen eines Dataproc Metastore erforderlich ist.
Sie können diese Berechtigung auch mit benutzerdefinierten Rollen oder anderen vordefinierten Rollen erhalten.
Weitere Informationen zu bestimmten Dataproc Metastore-Rollen und -Berechtigungen finden Sie unter Dataproc-Zugriff mit IAM verwalten.Datenbanktyp auswählen
Sie wählen den Datenbanktyp aus, wenn Sie einen Dataproc Metastore-Dienst erstellen.
Das folgende Beispiel zeigt eine abgekürzte Version der Schritte, die Sie ausführen, um einen Datenbanktyp auszuwählen. Eine detaillierte Anleitung finden Sie unter Dataproc Metastore-Dienst erstellen.
Console
Öffnen Sie in der Google Cloud Console- die Seite „Dataproc Metastore“:
Klicken Sie in der Navigationsleiste auf Erstellen.
Die Seite Dienst erstellen wird geöffnet.
Wählen Sie als Datenbanktyp entweder MySQL oder Spanner aus.
MySQL ist der Standarddatenbanktyp.
Wählen Sie nach Bedarf die verbleibenden Konfigurationen für Ihren Dienst aus.
Klicken Sie auf Senden.
gcloud-CLI
Führen Sie dazu den Befehl
gcloud metastore services create
aus.gcloud metastore services create SERVICE_ID \ --location=LOCATION \ --database-type=DATABASE_TYPE; default="mysql"
Ersetzen Sie Folgendes:
SERVICE_ID
: Der Name oder die ID Ihres Dataproc Metastore-Dienstes.LOCATION
: die Region, in der sich Ihr Dataproc Metastore-Dienst befindet.DATABASE_TYPE
: Der Datenbanktyp, den Sie für Ihren Dataproc Metastore-Dienst festlegen möchten. Zulässige Werte sindmysql
undspanner
. Der Standardwert istmysql
.