Sie können eine große Menge an Daten mit einer der folgenden Methoden in Spanner importieren oder aus Spanner exportieren:
- Sie können jede Spanner-Datenbank mit Dataflow importieren oder exportieren.
- Sie können jede Spanner-Datenbank in einen Cloud Storage-Bucket exportieren. Dabei können Sie entweder das Avro- oder das CSV-Dateiformat verwenden.
- Daten aus Avro- oder CSV-Dateien in eine neue Spanner-Datenbank importieren
Anwendungsfälle
Sie können Spanner-Import und -Export für die folgenden Anwendungsfälle verwenden:
- Bulk-Laden: Sie können Daten in großen Mengen in Spanner importieren.
Langfristige Sicherung und Archivierung: Sie können Ihre Datenbank jederzeit exportieren und zur langfristigen Sicherung oder Archivierung an einem Cloud Storage-Bucket-Speicherort Ihrer Wahl speichern. Außerdem können Sie die Wiederherstellung zu einem bestimmten Zeitpunkt verwenden, um eine Datenbank von einem bestimmten Zeitstempel in der Vergangenheit zu exportieren. Wenn Sie Techniken zur Notfallwiederherstellung suchen, die eine schnellere Wiederherstellung, aber kürzere Aufbewahrungszeiträume bieten, sollten Sie Sicherungen oder die Wiederherstellung zu einem bestimmten Zeitpunkt (Point-in-Time Recovery, PITR) verwenden.
Datenbanken in Entwicklungs- oder Testprojekte kopieren: Sie können eine Datenbank aus einem Produktionsprojekt exportieren und dann in Ihr Entwicklungs- oder Testprojekt importieren, um sie für Integrationstests oder andere Experimente zu verwenden.
Daten für Analysen aufnehmen: Sie können eine Datenbank exportieren, um Ihre Betriebsdaten in großen Mengen in Analysedienste wie BigQuery aufzunehmen. BigQuery kann Daten im Avro-Format automatisch aus einem Cloud Storage-Bucket aufnehmen. So können Sie Ihre Betriebsdaten einfacher analysieren. Wenn Sie BigQuery für die Echtzeitanalyse von Spanner-Daten verwenden möchten, ohne die Daten zu kopieren oder zu verschieben, können Sie stattdessen föderierte Spanner-Abfragen verwenden.
Import und Export im Vergleich zu Sichern und Wiederherstellen
Spanner-Import und -Export ähneln in vielerlei Hinsicht der Sicherung und Wiederherstellung. In der folgenden Tabelle werden Gemeinsamkeiten und Unterschiede beschrieben, um Ihnen die Entscheidung zu erleichtern.
Sichern und wiederherstellen | Import und Export | |
---|---|---|
Datenkonsistenz | Sowohl Sicherungen als auch exportierte Datenbanken sind transaktional und extern konsistent. | |
Auswirkungen auf die Leistung | Sicherungen haben keine Auswirkungen auf die Leistung einer Instanz. Spanner führt Sicherungen mit dedizierten Jobs aus, die nicht auf die Serverressourcen einer Instanz zugreifen. | Der Export wird als Aufgabe mittlerer Priorität ausgeführt, um die Auswirkungen auf die Datenbankleistung zu minimieren. Weitere Informationen finden Sie unter Aufgabenpriorität. |
Speicherformat | Verwendet ein proprietäres, verschlüsseltes Format, das für eine schnelle Wiederherstellung entwickelt wurde. | Unterstützt sowohl CSV- als auch Avro-Dateiformate. |
Portabilität | Sie erstellen Sicherungen in derselben Instanz wie die Quelldatenbank. Nachdem eine Sicherung erstellt wurde, können Sie sie in eine Instanz in einer anderen Region oder einem anderen Projekt kopieren, wenn Sie eine regions- oder projektübergreifende Sicherung benötigen. Anschließend können Sie eine Sicherung als neue Datenbank in einer beliebigen Instanz im selben Projekt wiederherstellen. Die Instanz, in der Sie die Wiederherstellung vornehmen, sollte dieselbe Instanzkonfiguration haben wie die Instanz, in der die Sicherung gespeichert ist. |
Exportierte Datenbanken befinden sich in Cloud Storage und die Daten können zu jedem System migriert werden, das CSV oder Avro unterstützt. |
Kundenbindung | Sicherungen können bis zu einem Jahr lang aufbewahrt werden. | Exportierte Datenbanken werden in Cloud Storage gespeichert und dort standardmäßig so lange aufbewahrt, bis sie gelöscht werden. Sie können Lebenszyklus- und Aufbewahrungsrichtlinien anpassen. |
Preise | Sicherungen werden Ihrem Spanner-Projekt basierend auf dem pro Zeiteinheit verwendeten Speicher in Rechnung gestellt. Weitere Informationen finden Sie im Abschnitt Preise. | Die Abrechnung für Import und Export ist aufgrund der Verwendung von Cloud Storage und Dataflow komplizierter. Weitere Informationen finden Sie unter Preise für Datenbankexport und -import. |
Wiederherstellungszeit | Die Wiederherstellung erfolgt in zwei Vorgängen: Wiederherstellung und Optimierung. Der Wiederherstellungsvorgang bietet eine schnelle Zeit bis zum ersten Byte, da die Datenbank die Sicherung direkt bereitstellt, ohne die Daten zu kopieren. Nach Abschluss des Wiederherstellungsvorgangs ist die Datenbank einsatzbereit. Die Leselatenz kann jedoch während der Optimierung etwas höher sein. Weitere Informationen finden Sie unter So funktioniert die Wiederherstellung. | Der Import ist langsamer. Sie müssen warten, bis alle Daten in die Datenbank geschrieben wurden. |
Dateiformate vergleichen
In der folgenden Tabelle werden die Unterschiede zwischen den Dateiformaten „Avro“ und „CSV“ beim Importieren und Exportieren von Spanner-Daten verglichen.
Leistungsvermögen | Avro-Format | CSV-Format |
---|---|---|
Gesamte Datenbank importieren oder exportieren | Ja | Nein |
Nur ausgewählte Tabellen in einer Datenbank exportieren | Ja | Ja |
Möglichkeit, zuvor exportierte Tabellen zu importieren | Ja | Ja |
Export mit einem Zeitstempel aus der Vergangenheit | Ja | Ja |
Mit der Google Cloud CLI importieren oder exportieren | Ja | Ja |
Importieren oder Exportieren mit Dataflow | Ja | Ja |
Importieren oder Exportieren mit Spanner | Ja | Nein |
Avro-Dateien
Wenn Sie in das Avro-Format exportieren, können Sie eine Liste der zu exportierenden Tabellen angeben. Alle auf diese Weise exportierten untergeordneten Tabellen müssen von ihren übergeordneten Tabellen begleitet werden. Spanner behält das gesamte Datenbankschema in den exportierten Dateien bei.
Beim Import aus dem Avro-Format wird das gesamte Schema der exportierten Datenbank, einschließlich aller Tabellen, in Spanner neu erstellt. Tabellen, die im ursprünglichen Export enthalten sind, enthalten alle exportierten Daten. Alle anderen Tabellen bleiben leer.
Die Spanner-Seite der Google Cloud Konsole bietet nur eingeschränkte Import- und Exportoptionen für das Avro-Format. Sie können beispielsweise keine Netzwerk- und Subnetzwerkoptionen festlegen. Wenn Sie mehr Optionen benötigen, verwenden Sie stattdessen Dataflow.
Beschränkungen
Standortgruppen können nicht in das Avro-Format exportiert und importiert werden.
CSV-Dateien
Sie können jeweils nur eine einzelne Spanner-Tabelle im CSV-Format exportieren. Beim Export wird das Schema nicht exportiert, sondern nur die Daten.
Bevor Sie Daten aus CSV-Dateien importieren, müssen Sie eine JSON-Manifestdatei erstellen.
Preise
Für die Verwendung der Export- oder Importtools fallen keine zusätzlichen Spanner-Gebühren an. Sie bezahlen die Standardtarife für die Datenspeicherung, wenn Sie eine Datenbank in Spanner importieren. Allerdings können im Zusammenhang mit dem Import und Export von Datenbanken weitere Kosten anfallen. Weitere Informationen finden Sie unter Preise für Datenbankexport und -import.
Nächste Schritte
- Datenbanken aus Spanner nach Avro exportieren
- Spanner-Avro-Dateien importieren
- Daten im CSV-Format importieren und exportieren
- Daten aus Nicht-Cloud Spanner-Datenbanken importieren