Hierarchischer Namespace

Auf dieser Seite erhalten Sie einen Überblick über hierarchische Namespaces, ihre wichtigsten Funktionen, gängige Anwendungsfälle, Vorteile und Einschränkungen.

Übersicht

Der hierarchische Namespace ist eine Funktion von Cloud Storage, mit der Sie Objekte in Ordnern organisieren können. Mit einem hierarchischen Namespace können Sie Ihre Daten in einer logischen Dateisystemstruktur speichern. Wenn Sie Ihre Daten in einer Dateisystemstruktur organisieren, wird die Leistung verbessert, für Konsistenz gesorgt und die Verwaltung datenintensiver und dateiorientierter Arbeitslasten vereinfacht.

Die Ordnerverwaltung bietet Zuverlässigkeit und Verwaltungsfunktionen, einschließlich Erstellen, Löschen, Auflisten und Umbenennen von Ordnern. Die hierarchische Organisation von Objekten vereinfacht die Datenorganisation und optimiert die Aufgaben der Datenverwaltung. Ein Ordner in einem Bucket mit aktiviertem hierarchischen Namespace kann Objekte, andere Ordner oder eine Kombination aus beiden enthalten.

Sie müssen beim Erstellen des Buckets auswählen, ob ein hierarchischer Namespace verwendet werden soll. Die Einstellung für den hierarchischen Namespace des Buckets kann nach dem Erstellen nicht mehr geändert werden. Informationen zum Aktivieren des hierarchischen Namespaces für Ihren Bucket finden Sie unter Buckets mit aktiviertem hierarchischen Namespace erstellen und verwalten.

Das folgende Diagramm zeigt ein Beispiel für einen Bucket mit aktiviertem hierarchischem Namespace, in dem Objekte in einer hierarchischen Ordnerstruktur organisiert sind.

Wichtige Features

Der hierarchische Namespace bietet folgende Funktionen:

• Höhere anfängliche Abfragen pro Sekunde (QPS): Buckets mit aktiviertem hierarchischen Namespace bieten bis zu achtmal höhere anfängliche QPS-Grenzwerte für das Lesen und Schreiben von Objekten als Buckets ohne aktivierten hierarchischen Namespace. Die höhere anfängliche QPS erleichtert die Skalierung datenintensiver Arbeitslasten und sorgt für einen höheren Durchsatz. Informationen zu Methoden zur Leistungsoptimierung bei der Verwendung von Ordnern in Buckets mit aktiviertem hierarchischen Namespace finden Sie unter Ordnerverwaltung.

• Ordner: Ordner dienen als Container für Objekte und andere Ordner. Sie unterstützen Vorgänge wie Erstellen, Löschen und Abrufen von Ordnern.

• Ordner umbenennen: Mit diesem Vorgang können Sie den Pfad eines Ordners und der untergeordneten Ordner atomar umbenennen, ohne Objekte zu löschen. Diese Methode ist effizient und zeitsparend, insbesondere bei großen Ordnern mit mehreren Objekten.

• Ordner auflisten: Mit diesem Befehl werden alle Ordner im Bucket oder unter einem bestimmten Ordner aufgelistet. So können Sie die Struktur Ihrer in einem Bucket gespeicherten Daten besser verwalten und nachvollziehen.

Wann sollten Sie den hierarchischen Namespace für Ihren Bucket aktivieren?

Sie sollten den hierarchischen Namespace aktivieren, wenn Sie Anwendungen verwenden, die eine Dateisystem-ähnliche Hierarchie und Semantik erfordern. Hierarchische Namespaces eignen sich für datenintensive Aufgaben wie Analysen, KI- und ML-Arbeitslasten. Hier sind einige häufige Szenarien, in denen Sie einen hierarchischen Namespace verwenden sollten:

• Hadoop-basierte Verarbeitung: Hadoop- und Spark-Arbeitslasten erfordern traditionell eine dateisystemähnliche Speicherstruktur und eine zeitbasierte Benennung von Dateien und Ordnern. Hierarchische Namespaces lassen sich in den Cloud Storage-Connector einbinden, um den Durchsatz zu erhöhen und atomare Ordnerumbenennungen zu ermöglichen. So werden die Datenintegrität und -konsistenz für viele Datenverarbeitungspipelines verbessert.

• Dateiorientierte Verarbeitung von Arbeitslasten: Arbeitslasten wie die Verarbeitung von Batch-Analysen, Finanzdienstleistungen oder Hochleistungs-Computing werden basierend auf einer Hierarchie von Ordnern und Dateien in Partitionen strukturiert. Hierarchische Namespaces unterstützen die Verwaltung dieser Umgebungen mit einer speziellen API für die Ordnerverwaltung. Außerdem vereinfacht der hierarchische Namespace die Verwaltung von Ordnern, die andere Ordner und Objekte enthalten. Mit einem einzigen API-Befehl können Sie einen Ordner und seinen gesamten Inhalt schnell umbenennen und so wertvolle Zeit und Ressourcen sparen.

• KI- und ML-Verarbeitung: KI- und ML-Tools wie TensorFlow, Pandas und PyTorch erwarten einen dateisystemähnlichen Zugriff und Semantik. Ein hierarchischer Namespace bietet, insbesondere in Kombination mit Cloud Storage FUSE, einen höheren Durchsatz und einen effizienten Datenzugriff. Daher verbessert ein hierarchischer Namespace die Leistung und Zuverlässigkeit der ML-Modelliteration.

Bevor Sie den hierarchischen Namespace für Ihren Bucket aktivieren, sollten Sie die Einschränkungen des hierarchischen Namespaces berücksichtigen. Informationen zu den Einschränkungen des hierarchischen Namespaces finden Sie unter Einschränkungen.

Vorteile eines hierarchischen Namespaces

Wenn Sie den hierarchischen Namespace für Ihre Buckets aktivieren, haben Sie folgende Möglichkeiten:

• Organisation optimieren: Sie können Ihre Daten in einer hierarchischen Ordnerstruktur organisieren, die Ihnen hilft, Dateien oder Datensätze zu verwalten und zu finden.

• Dateisystemähnliches Ökosystem schaffen: Der hierarchische Namespace bietet dateisystemähnliche Funktionen wie Ordner, Ordnerumbenennung und Ordnerauflistung, die für dateiorientierte Anwendungen von Vorteil sind, einschließlich des Hadoop-Ökosystems und KI- und ML-Arbeitslasten.

• Leistungssteigerung: Durch die Skalierung datenintensiver Arbeitslasten für einen höheren Durchsatz können Sie die Gesamtleistung Ihrer Anwendung verbessern.

Plattform-Support

Buckets mit hierarchischem Namespace unterstützen die folgenden Cloud Storage-Plattformfunktionen:

• Alle Cloud Storage Object APIs und gängigen Cloud Storage-Funktionen Weitere Informationen zu nicht unterstützten Funktionen finden Sie unter Einschränkungen.

• Datenübertragung von einem Standard-Bucket in einen Bucket mit hierarchischem Namensbereich mit Storage Transfer Service

• Einbindung in die folgenden Produkte:

  • Cloud Storage-Connector, der von Dataproc für Hadoop-Arbeitslasten verwaltet wird. Weitere Informationen finden Sie unter Buckets mit aktiviertem hierarchischen Namespace für Hadoop-Arbeitslasten verwenden.

  • Cloud Storage FUSE für einen dateisystemähnlichen Bucket-Zugriff über Clients.

Kompatibilität mit Cloud Storage-Vorgängen und ‑Funktionen

Bei Buckets mit aktiviertem hierarchischen Namespace sind die folgenden Interaktionen mit anderen Cloud Storage-Vorgängen möglich:

Objektvorgänge

Bei Buckets mit aktiviertem hierarchischen Namespace werden Objektvorgänge so verarbeitet:

• Bei Vorgängen wie Upload, Rewrite und Compose werden fehlende übergeordnete Ordner automatisch erstellt, sofern Sie die erforderlichen Berechtigungen haben. Sie müssen also keine Ordner vor dem Hochladen von Objekten erstellen.
• Ordner können zwar während Objektvorgängen automatisch erstellt werden, Sie müssen sie jedoch mit dem Befehl DeleteFolder explizit löschen.
• Wenn Sie den Vorgang ListObjects mit dem Parameter delimiter verwenden, geben Bucket-Dateien jeden untergeordneten Ordner als prefix. zurück. Leere Ordner werden jedoch standardmäßig ausgeschlossen. Wenn Sie leere Ordner wie in einem typischen Dateisystem-Verzeichnis einbeziehen möchten, müssen Sie den Parameter includeFoldersAsPrefixes festlegen. Informationen zu Methoden zur Leistungsoptimierung beim Eintragen von Objekten in Buckets mit aktiviertem hierarchischen Namespace finden Sie unter Objekte auflisten.

Vorgänge für verwaltete Ordner

In Buckets mit aktiviertem hierarchischen Namespace werden Vorgänge für verwaltete Ordner auf folgende Weise verarbeitet:

• Buckets mit aktiviertem hierarchischen Namespace bieten eine detaillierte Zugriffssteuerung über verwaltete Ordner. Wenn Sie den Zugriff innerhalb eines Ordners verwalten möchten, müssen Sie einen verwalteten Ordner mit demselben Namen wie der Ordner erstellen und dann IAM-Richtlinien darauf anwenden. Ein verwalteter Ordner kann nicht ohne den entsprechenden Ordner existieren.
• Wenn Sie einen verwalteten Ordner erstellen, werden automatisch alle fehlenden übergeordneten Ordner erstellt, einschließlich des Ordners mit demselben Namen.
• Wenn Sie einen Ordner löschen, wird der zugehörige verwaltete Ordner automatisch gelöscht.
• Wenn Sie einen Ordner umbenennen, werden die zugehörigen verwalteten Ordner automatisch umbenannt.
• Buckets mit hierarchischem Namespace müssen den Regeln für die Benennung verwalteter Ordner und den Regeln für die Ordnerbenennung entsprechen. Ordnernamen können zwar bis zu 50 Ebenen verschachtelt werden, verwaltete Ordnernamen jedoch nur bis zu 15 Ebenen. Die maximale Größe des Namens eines verwalteten Ordners ist auf die maximale Größe des Ordners beschränkt, die bei UTF-8-Codierung 512 Byte beträgt.

Bucket-Vorgänge

Sie können einen Bucket mit aktiviertem hierarchischen Namespace wie jeden anderen Bucket löschen. Wenn ein Bucket mit aktiviertem hierarchischen Namespace nur leere Ordner und keine Objekte oder verwalteten Ordner enthält, kann er gelöscht werden.

Verwaltung des Objektlebenszyklus

Mit der Verwaltung des Objektlebenszyklus können Sie Aktionen für Objekte basierend auf Bedingungen wie Alter oder Präfix automatisieren. Die Regeln für die Verwaltung des Objektlebenszyklus können sich jedoch aufgrund des Vorgangs RenameFolder in Buckets mit hierarchischem Namespace und in Buckets mit flachem Namespace unterschiedlich verhalten:

• Regeln für die Verwaltung des Objektlebenszyklus für Buckets mit einem flachen Namensbereich: Beim Umbenennen werden alle Objekte mithilfe von Tools umbenannt, indem sie an einen Zielspeicherort kopiert und das ursprüngliche Objekt am Quellspeicherort gelöscht wird. Dadurch werden am Zielort neue Objekte mit neuen Erstellungszeiten erstellt. Wenn für den Zielspeicherort altersbasierte Regeln zur Verwaltung des Objektlebenszyklus angewendet werden, werden sie nicht sofort auf die neuen Objekte angewendet, da ihre Erstellungszeiten zurückgesetzt werden.

• Regeln zur Verwaltung des Objektlebenszyklus für Buckets mit aktiviertem hierarchischen Namespace: Das Umbenennen eines Ordners erfolgt auf Ordnerebene, ohne dass jedes einzelne Objekt umbenannt werden muss. Dadurch bleibt die Erstellungszeit der Objekte erhalten. Das bedeutet, dass die altersbasierten Regeln für die Verwaltung des Objektlebenszyklus sofort auf umbenannte Objekte angewendet werden, wenn sie die Alterskriterien erfüllen.

Buckets mit aktiviertem hierarchischen Namespace verwalten

Sie können alle Buckets mit aktiviertem hierarchischen Namespace auflisten, unabhängig von ihrem Speicherlayout. Das Speicherlayout eines Buckets beschreibt, wie Objekte in einem Bucket angeordnet sind, entweder in einem flachen oder einem hierarchischen Namespace. Eine Anleitung zum Aufrufen des Speicherlayouts eines Buckets finden Sie unter Speicherlayout eines Buckets abrufen. Wenn Sie alle Buckets auflisten möchten, folgen Sie der Anleitung unter Buckets auflisten.

Sie können einen Bucket mit aktiviertem hierarchischen Namespace wie jeden anderen Bucket löschen. Wenn ein Bucket mit aktiviertem hierarchischen Namespace nur leere Ordner und keine Objekte oder verwalteten Ordner enthält, gilt er zum Zweck des Löschens als leer. Eine Anleitung zum Löschen von Buckets finden Sie unter Buckets löschen.

Preise

Preisinformationen finden Sie unter Cloud Storage – Preise.

Beschränkungen

Hier sind die Einschränkungen für hierarchische Namespaces:

• Sie müssen beim Erstellen des Buckets auswählen, ob ein hierarchischer Namespace verwendet werden soll. Die Einstellung für den hierarchischen Namespace des Buckets kann nach dem Erstellen nicht mehr geändert werden.

• Damit ein hierarchischer Namespace verwendet werden kann, muss für den Bucket auch der einheitliche Zugriff auf Bucket-Ebene aktiviert sein.

• Die folgenden Cloud Storage-Funktionen werden für Buckets mit hierarchischem Namespace nicht unterstützt:

  • Autoclass
  • Objektversionsverwaltung
  • Objektaufbewahrungssperre
  • Bucket-Sperre

Nächste Schritte

• Buckets mit aktiviertem hierarchischen Namespace erstellen
• Ordner erstellen und verwalten
• Ordner umbenennen
• Verwenden Sie einen hierarchischen Namespace für Hadoop-Arbeitslasten.
• Leistung optimieren