Metadaten von Datenlakes, Zonen und Assets verwalten

Entitäten auflisten

Wenn Sie die vom Dienst zurückgegebene Liste der Einheiten einschränken möchten, fügen Sie der Anfrage-URL list entities die Suchparameter filter hinzu.

Entität abrufen

Standardmäßig enthält die Get Entity-Antwort grundlegende Metadaten zu Entitäten. Wenn Sie zusätzliche Schemametadaten abrufen möchten, fügen Sie der Anfrage-URL den Abfrageparameter view hinzu.

Kompatibilitätsdetails:Während Metadaten des Dataplex Universal Catalog zentral in der Metadaten-API registriert werden, werden nur Metadaten von Entitätstabellen, die mit BigQuery und Apache Hive Metastore kompatibel sind, in BigQuery und Dataproc Metastore veröffentlicht. Die Get Entity API gibt eine CompatibilityStatus-Nachricht zurück, die angibt, ob die Tabellenmetadaten mit BigQuery und Hive Metastore kompatibel sind. Wenn nicht, wird der Grund für die Inkompatibilität angegeben.

Entität aktualisieren

Mit dieser API können Sie Entitätsmetadaten bearbeiten, einschließlich der Frage, ob Sie oder Dataplex Universal Catalog die Entitätsmetadaten verwalten.

• Mit dieser API werden alle änderbaren Entity-Felder vollständig ersetzt. Die folgenden Entitätsfelder sind unveränderlich. Wenn Sie sie in einer Aktualisierungsanfrage angeben, werden sie ignoriert:
  • asset
  • dataPath
  • type
  • system
• Geben Sie einen Wert für alle veränderlichen Entitätsfelder an, einschließlich aller Schemafelder, auch wenn die Werte nicht geändert werden.
• Geben Sie das Feld etag an. Sie können das ETag abrufen, indem Sie zuerst eine entities.get-Anfrage senden, die das etag der Entität in der Antwort zurückgibt.
• Schemafelder aktualisieren:Sie können das vom Dataplex Universal Catalog ermittelte Tabellenschema aktualisieren, um die Genauigkeit zu verbessern:
  • Wenn das Schema ein Fileset ist, lassen Sie alle Schemafelder leer.
  • Wenn Sie ein wiederkehrendes Feld definieren möchten, legen Sie den Modus auf REPEATED fest. Um ein Strukturfeld zu definieren, setzen Sie den Typ auf RECORD.
  • Sie können das Feld userManaged des Schemas festlegen, um anzugeben, ob Sie oder Dataplex Universal Catalog die Tabellenmetadaten verwalten. Die Standardeinstellung ist „Dataplex Universal Catalog“ verwaltet. Wenn userManaged auf „true“ gesetzt ist, wird diese Einstellung in den Informationen berücksichtigt, die bei einer entities.get-Anfrage zurückgegeben werden, wenn EntityView auf SCHEMA oder FULL gesetzt ist.
• Partitionsfelder aktualisieren:
  • Bei nicht im Hive-Stil partitionierten Daten werden Partitionsschlüssel automatisch von Dataplex Universal Catalog generiert. Für den Datenpfad gs://root/2020/12/31 werden beispielsweise die Partitionsschlüssel p0, p1 und p2 generiert. Um die Abfrage intuitiver zu gestalten, können Sie p0, p1 und p2 in year, month und day ändern.
  • Wenn Sie den Partitionsstil auf HIVE style aktualisieren, ist das Partitionsfeld unveränderlich.
• Andere Metadatenfelder aktualisieren:Sie können die automatisch generierten Felder mimeType, CompressionFormat, CsvOptions und JsonOptions aktualisieren, um die Erkennung im Dataplex Universal Catalog zu erleichtern. Beim nächsten Ausführen von Dataplex Universal Catalog Discovery werden neue Werte verwendet.

Entität erstellen

Mit der entities.create API können Sie Metadatenentitäten für Tabellen oder Dateisätze erstellen. Füllen Sie die erforderlichen und relevanten optionalen Felder aus oder lassen Sie die optionalen Felder vom Dataplex Universal Catalog-Erkennungsdienst ausfüllen.

Entität löschen

• Geben Sie das Feld etag an. Sie können das ETag abrufen, indem Sie zuerst eine entities.get-Anfrage senden, die das etag der Entität in der Antwort zurückgibt.

Wenn zugrunde liegende Daten für eine Tabelle oder einen Fileset in einer Rohdaten-Zone gelöscht werden, werden die Metadaten der Tabelle oder des Filesets beim nächsten Discovery-Scan automatisch gelöscht. Wenn zugrunde liegende Daten für eine Tabelle in einer kuratierten Zone gelöscht werden, werden die Tabellenmetadaten nicht entsprechend gelöscht, sondern es wird eine Aktion für fehlende Daten gemeldet. Löschen Sie die Tabellenmetadatenentität explizit über die Metadaten-API, um dieses Problem zu beheben.

Partitionen auflisten

Wenn Sie die vom Dienst zurückgegebene Liste der Partitionen einschränken möchten, fügen Sie der Anfrage-URL list partitions die Abfrageparameter filter hinzu.

Beispiele:

• ?filter="Country=US AND State=CA AND City=Sunnyvale"
• ?filter="year < 2000 AND month > 12 AND Date > 10"

Partition abrufen

Um eine Partition zu erhalten, müssen Sie die Anfrage-URL vervollständigen, indem Sie die Partitionsschlüsselwerte an das Ende der URL anhängen. Die Formatierung muss partitions/value1/value2/…./value10 lauten.

Beispiel: Wenn eine Partition die Werte {Country=US, State=CA, City=Sunnyvale} hat, sollte die URL der GET-Anfrage mit /partitions/US/CA/Sunnyvale enden.

Wichtig:Die angehängten URL-Werte müssen doppelt codiert sein. Mit url_encode(url_encode(value)) kann beispielsweise „US:CA/CA#Sunnyvale“ codiert werden, sodass die Anfrage-URL mit /partitions/US%253ACA/CA%2523Sunnyvale endet. Das Feld „name“ in der Antwort behält das codierte Format bei.

Partition erstellen

Wenn Sie eine benutzerdefinierte Partition für Ihre Datenquelle erstellen möchten, verwenden Sie die partitions.create API. Geben Sie das erforderliche Feld location mit einem Cloud Storage-Pfad an.

Partition löschen

Fügen Sie der Anfrage-URL die Werte für den Partitionsschlüssel hinzu, sodass sie als partitions/value1/value2/…./value10 formatiert ist.

Beispiel: Wenn eine Partition die Werte {Country=US, State=CA, City=Sunnyvale} hat, sollte die Anfrage-URL mit /partitions/US/CA/Sunnyvale enden.

Wichtig:Die angehängten URL-Werte müssen RFC-1034 entsprechen oder doppelt codiert sein, z. B. US:/CA#/Sunnyvale als US%3A/CA%3A/Sunnyvale.