Datastore mit Cloud Functions (2nd gen) erweitern

Mit Cloud Run-Funktionen und Eventarc können Sie Code bereitstellen, um Ereignisse zu verarbeiten, die durch Änderungen in Ihrer Firestore-Datenbank im Datastore-Modus ausgelöst werden. So können Sie serverseitige Funktionen hinzufügen, ohne eigene Server zu betreiben.

Trigger für den Datastore-Modus

Eventarc unterstützt die folgenden Firestore im Datastore-Modus-Ereignistrigger, mit denen Sie Cloud Run Functions-Handler (2. Generation) erstellen können, die an Firestore im Datastore-Modus-Ereignisse gebunden sind:

Ereignistrigger im Datastore-Modus reagieren nur auf Änderungen an Entitäten. Die Aktualisierung einer Entität im Datastore-Modus, bei der die Daten unverändert bleiben (also ohne Schreibvorgang), generiert kein Aktualisierungs- oder Schreibereignis. Sie können keine Ereignisse nur für bestimmte Properties generieren.

Authentifizierungskontext in das Ereignis einbeziehen

Wenn Sie zusätzliche Authentifizierungsinformationen zum Ereignis einfügen möchten, verwenden Sie einen Ereignistrigger mit der withAuthContext-Erweiterung. Diese Erweiterung enthält zusätzliche Informationen zum Prinzipal, der das Ereignis ausgelöst hat. Zusätzlich zu den Informationen, die im Basisereignis zurückgegeben werden, werden die Attribute authtype und authid hinzugefügt. Weitere Informationen zu Attributwerten finden Sie in der Referenz authcontext.

Durch Entitäten ausgelöste Funktion schreiben

Wenn Sie eine Funktion schreiben möchten, die auf Firestore-Ereignisse im Datastore-Modus reagiert, müssen Sie bei der Bereitstellung Folgendes angeben:

• ein Triggerereignistyp
• ein Filter für das Triggerereignis, um die mit der Funktion verknüpften Entitäten auszuwählen
• der auszuführende Funktionscode

Triggerereignisfilter

Wenn Sie einen Ereignisfilter angeben, können Sie entweder eine genaue Entitätsübereinstimmung oder ein Pfadmuster angeben. Mit einem Pfadmuster können Sie mehrere Elemente mit den Platzhaltern * oder ** abgleichen.

Sie können beispielsweise eine genaue Entitätsübereinstimmung angeben, um auf Änderungen an der folgenden Entität zu reagieren:

users/marie

Verwenden Sie Platzhalter (* oder **), um auf Änderungen an Entitäten zu reagieren, die einem Muster entsprechen. Der Platzhalter * entspricht einem einzelnen Segment und der Platzhalter mit mehreren Segmenten ** entspricht null oder mehr Segmenten im Muster.

Bei Übereinstimmungen mit einem einzelnen Segment (*) können Sie auch eine benannte Erfassungsgruppe wie users/{userId} verwenden.

In der folgenden Tabelle finden Sie Beispiele für gültige Pfadmuster:

Weitere Informationen zu Pfadmustern finden Sie unter Eventarc-Pfadmuster.

Ihr Trigger muss immer auf eine Entität verweisen, auch wenn Sie einen Platzhalter verwenden. Betrachten Sie die folgenden Beispiele:

• users/{userId=*}/{messages=*} ist ungültig, da {messages=*} eine Art-ID ist.

• users/{userId=*}/{messages}/{messageId=*} ist gültig, da {messageId=*} immer auf eine Entität verweist.

Maskierung von Zeichen

In diesem Abschnitt werden Situationen beschrieben, in denen Sie Zeichen in Art-IDs und Entitäts-IDs maskieren müssen. Durch das Escapen eines Zeichens kann der Ereignisfilter die ID richtig interpretieren.

• Wenn eine Art-ID oder Entitäts-ID das Zeichen ~ oder / enthält, müssen Sie die ID in Ihrem Ereignisfilter maskieren. Verwenden Sie zum Escapen einer ID das Format __escENCODED_ID__. Ersetzen Sie ENCODED_ID durch eine Art-ID oder eine Entitäts-ID, bei der alle ~- und /-Zeichen durch ihre Codierungs-IDs ersetzt wurden. Das sind die folgenden:

  • ~: ~0
  • /: ~1

  Die Art-ID user/profile wird beispielsweise zu __escusers~1profile__. Ein Beispiel für ein Pfadmuster mit dieser Art-ID ist __escusers~1profile__/{userId}.

• Wenn Sie die Art-ID oder Entitäts-ID von . oder .. in Ihrem Ereignisfilter verwenden, müssen Sie die ID so maskieren:

  • .: __esc~2__
  • ..: __esc~2~2__

  Sie müssen das Zeichen . nur dann mit einem Escapezeichen versehen, wenn die ID genau . oder .. ist. Für die Art-ID customers.info ist beispielsweise kein Escapezeichen erforderlich.

• Wenn Ihre Art oder Entitäts-ID ein numerischer Wert anstelle eines Stringwerts ist, müssen Sie die ID mit __idNUMERIC_VALUE__ maskieren. Das Pfadmuster für eine Entität vom Typ 111 und der Entitäts-ID 222 ist beispielsweise __id111__/__id222__.

• Wenn Sie von Legacy Cloud Datastore zu Firestore im Datastore-Modus migriert sind, enthält Ihre Datenbank möglicherweise Legacy-IDs in einer Nicht-UTF8-Codierung. Sie müssen diese IDs mit __bytesBASE64_ENCODING__ maskieren. Ersetzen Sie BASE64_ENCODING durch die Base64-Codierung der ID. Das Pfadmuster Task/{task} mit Escaping für die Nicht-UTF8-Art-ID Task wird beispielsweise zu __bytesVGFzaw==__/{task}.

Beispielfunktionen

Im folgenden Beispiel wird gezeigt, wie Ereignisse im Datastore-Modus empfangen werden. Wenn Sie mit den Daten arbeiten möchten, die mit einem Ereignis verknüpft sind, sehen Sie sich die Felder value und old_value an.

• value: Ein EntityResult-Objekt, das einen Snapshot der Entität nach dem Vorgang enthält. Dieses Feld wird für Löschvorgänge nicht ausgefüllt.
• old_value: Ein EntityResult-Objekt, das einen Snapshot der Entität vor dem Vorgang enthält. Dieses Feld wird nur für Aktualisierungs- und Löschereignisse ausgefüllt.

import com.google.cloud.functions.CloudEventsFunction;
import com.google.events.cloud.datastore.v1.EntityEventData;
import com.google.protobuf.InvalidProtocolBufferException;
import io.cloudevents.CloudEvent;
import java.util.logging.Logger;

public class Datastore implements CloudEventsFunction {
  private static final Logger logger = Logger.getLogger(Datastore.class.getName());

  @Override
  public void accept(CloudEvent event) throws InvalidProtocolBufferException {
    EntityEventData datastoreEventData = EntityEventData.parseFrom(event.getData().toBytes());

    logger.info("Function triggered by event on: " + event.getSource());
    logger.info("Event type: " + event.getType());

    logger.info("Old value:");
    logger.info(datastoreEventData.getOldValue().toString());

    logger.info("New value:");
    logger.info(datastoreEventData.getValue().toString());
  }
}

Proto-Abhängigkeiten in die Quelle einfügen

Sie müssen die Datei Datastore-Modus data.proto in das Quellverzeichnis für Ihre Funktion aufnehmen. In dieser Datei werden die folgenden Protos importiert, die Sie auch in Ihr Quellverzeichnis aufnehmen müssen:

• google/protobuf/struct.proto
• google/protobuf/timestamp.proto
• google/type/latlng.proto

Verwenden Sie für die Abhängigkeiten dieselbe Verzeichnisstruktur. Platzieren Sie beispielsweise struct.proto in google/protobuf.

Diese Dateien sind erforderlich, um Ereignisdaten zu decodieren. Wenn die Funktionsquelle diese Dateien nicht enthält, wird bei der Ausführung ein Fehler zurückgegeben.

Ereignisattribute

Jedes Ereignis enthält Datenattribute mit Informationen zum Ereignis, z. B. zum Zeitpunkt, zu dem es ausgelöst wurde. Firestore im Datastore-Modus fügt zusätzliche Daten zur Datenbank und zur am Ereignis beteiligten Entität hinzu. So greifen Sie auf diese Attribute zu:

logger.info("Event time " + event.getTime());
logger.info("Event project: " + event.getExtension("project"));
logger.info("Event location: " + event.getExtension("location"));
logger.info("Database name: " + event.getExtension("database"));
logger.info("Database namespace: " + event.getExtension("namespace"));
logger.info("Database entity: " + event.getExtension("entity"));
// For withAuthContext events
logger.info("Auth information: " + event.getExtension("authid"));
logger.info("Auth information: " + event.getExtension("authtype"));

Funktion bereitstellen

Nutzer, die Cloud Run Functions bereitstellen, müssen die IAM-Rolle Cloud Run-Entwickler oder eine Rolle mit denselben Berechtigungen haben. Siehe auch Zusätzliche Konfiguration für die Bereitstellung.

Sie können eine Funktion entweder mit der gcloud CLI oder der Google Cloud Console bereitstellen. Im folgenden Beispiel wird die Bereitstellung mit der gcloud CLI veranschaulicht. Weitere Informationen zur Bereitstellung mit der Google Cloud -Konsole finden Sie unter Cloud Run Functions bereitstellen.

1. In the Google Cloud console, activate Cloud Shell.

   Activate Cloud Shell

   At the bottom of the Google Cloud console, a Cloud Shell session starts and displays a command-line prompt. Cloud Shell is a shell environment with the Google Cloud CLI already installed and with values already set for your current project. It can take a few seconds for the session to initialize.

2. Verwenden Sie den Befehl gcloud functions deploy, um eine Funktion bereitzustellen:

   gcloud functions deploy FUNCTION_NAME \
   --gen2 \
   --region=FUNCTION_LOCATION \
   --trigger-location=TRIGGER_LOCATION \
   --runtime=RUNTIME \
   --source=SOURCE_LOCATION \
   --entry-point=CODE_ENTRYPOINT \
   --trigger-event-filters="type=EVENT_FILTER_TYPE" \
   --trigger-event-filters="database=DATABASE" \
   --trigger-event-filters="namespace=NAMESPACE" \
   --trigger-event-filters-path-pattern="entity=ENTITY_OR_PATH" \
   

   Das erste Argument, FUNCTION_NAME, ist ein Name für Ihre bereitgestellte Funktion. Der Name muss mit einem Buchstaben beginnen, gefolgt von bis zu 62 Buchstaben, Ziffern, Bindestrichen oder Unterstrichen. Das letzte Zeichen muss ein Buchstabe oder eine Ziffer sein. Ersetzen Sie FUNCTION_NAME durch einen gültigen Funktionsnamen. Fügen Sie dann die folgenden Flags hinzu:

   • Das Flag --gen2 gibt an, dass Sie die Bereitstellung in Cloud Run Functions (2. Generation) vornehmen möchten. Wenn Sie dieses Flag weglassen, erfolgt die Bereitstellung in Cloud Run Functions (1. Generation).

   • Das Flag --region=FUNCTION_LOCATION gibt die Region an, in der die Funktion bereitgestellt werden soll.

     Um die Nähe zu maximieren, legen Sie FUNCTION_LOCATION auf eine Region in der Nähe Ihrer Firestore-Datenbank fest. Wenn sich Ihre Firestore-Datenbank an einem multiregionalen Standort befindet, legen Sie den Wert für Datenbanken innam5auf us-central1und für Datenbanken ineur3auf europe-west4fest. Bei regionalen Firestore-Standorten muss die Region dieselbe sein.

   • Das Flag --trigger-location=TRIGGER_LOCATION gibt den Speicherort des Triggers an. Sie müssen TRIGGER_LOCATION auf den Standort Ihrer Datenbank im Datastore-Modus festlegen.

   • Das Flag --runtime=RUNTIME gibt an, welche Sprachlaufzeit die Funktion verwendet. Cloud Run Functions unterstützt mehrere Laufzeiten. Weitere Informationen finden Sie unter Laufzeiten. Legen Sie für RUNTIME eine unterstützte Laufzeit fest.

   • Das Flag --source=SOURCE_LOCATION gibt den Speicherort des Quellcodes der Funktion an. Weitere Informationen finden Sie hier:

     • Vom lokalen Computer bereitstellen
     • Über Cloud Storage bereitstellen
     • Aus Quell-Repository bereitstellen

     Legen Sie SOURCE_LOCATION auf den Speicherort des Quellcodes der Funktion fest.

   • Das Flag --entry-point=CODE_ENTRYPOINT gibt den Einstiegspunkt für die Funktion in Ihrem Quellcode an. Dies ist der Code, der beim Ausführen der Funktion ausgeführt wird. Sie müssen CODE_ENTRYPOINT auf einen Funktionsnamen oder einen vollständig qualifizierten Klassennamen festlegen, der in Ihrem Quellcode vorhanden ist. Weitere Informationen finden Sie unter Funktionseinstiegspunkt.

   • Die Flags --trigger-event-filters definieren den Ereignisfilter, der den Triggertyp und die Entität oder den Pfad enthält, die die Ereignisse auslösen. Legen Sie die folgenden Attributwerte fest, um Ihren Ereignisfilter zu definieren:

     • type=EVENT_FILTER_TYPE: Firestore unterstützt die folgenden Ereignistypen:

       • google.cloud.datastore.entity.v1.created: Dieses Ereignis wird gesendet, wenn zum ersten Mal in eine Entität geschrieben wird.
       • google.cloud.datastore.entity.v1.updated: Dieses Ereignis wird gesendet, wenn eine Entität bereits vorhanden ist und sich ein Wert geändert hat.
       • google.cloud.datastore.entity.v1.deleted: Dieses Ereignis wird gesendet, wenn eine Entität gelöscht wird.
       • google.cloud.datastore.entity.v1.written: Dieses Ereignis wird gesendet, wenn eine Entität erstellt, aktualisiert oder gelöscht wird.
       • google.cloud.datastore.entity.v1.created.withAuthContext: Dieses Ereignis wird gesendet, wenn zum ersten Mal in ein Dokument geschrieben wird. Es enthält zusätzliche Authentifizierungsinformationen.
       • google.cloud.datastore.entity.v1.updated.withAuthContext: Dieses Ereignis wird gesendet, wenn ein Dokument bereits vorhanden ist und sich ein Wert geändert hat. Enthält zusätzliche Authentifizierungsinformationen
       • google.cloud.datastore.entity.v1.deleted.withAuthContext: Ereignis wird gesendet, wenn ein Dokument gelöscht wird. Enthält zusätzliche Authentifizierungsinformationen
       • google.cloud.datastore.entity.v1.written.withAuthContext: Dieses Ereignis wird gesendet, wenn ein Dokument erstellt, aktualisiert oder gelöscht wird. Enthält zusätzliche Authentifizierungsinformationen

       Legen Sie EVENT_FILTER_TYPE auf einen dieser Ereignistypen fest.

     • database=DATABASE: Firestore-Datenbank. Legen Sie für den Standarddatenbanknamen DATABASE auf (default) fest.

     • namespace=NAMESPACE: der Namespace der Datenbank. Legen Sie für den Standarddatenbanknamen NAMESPACE auf (default) fest. Entfernen Sie das Flag, um mit einem beliebigen Namespace übereinzustimmen.

     • entity=ENTITY_OR_PATH: der Datenbankpfad, der Ereignisse auslöst, wenn Daten erstellt, aktualisiert oder gelöscht werden. Zulässige Werte für ENTITY_OR_PATH:

       • Gleich. Beispiel: --trigger-event-filters="entity='users/marie'"
       • Pfadmuster. Beispiel: --trigger-event-filters-path-pattern="entity='users/*'". Weitere Informationen finden Sie unter Informationen zu Pfadmustern.

     Sie können optional weitere Konfigurations-, Netzwerk- und Sicherheitsoptionen angeben, wenn Sie eine Funktion bereitstellen.

     Eine vollständige Referenz zum Bereitstellungsbefehl und seinen Flags finden Sie in der Dokumentation zu gcloud functions deploy.

Beispiele für Deployments

Die folgenden Beispiele zeigen Bereitstellungen mit der Google Cloud CLI.

So stellen Sie eine Funktion für eine Datenbank in der Region us-west2 bereit:

gcloud functions deploy gcfv2-trigger-datastore-node \
--gen2 \
--region=us-west2 \
--trigger-location=us-west2 \
--runtime=nodejs18 \
--source=gs://example_bucket-1/datastoreEventFunction.zip \
--entry-point=makeUpperCase \
--trigger-event-filters=type=google.cloud.datastore.entity.v1.written \
--trigger-event-filters=database='(default)' \
--trigger-event-filters-path-pattern="entity='messages/{pushId}'"

So stellen Sie eine Funktion für eine Datenbank am multiregionalen Standort nam5 bereit:

gcloud functions deploy gcfv2-trigger-datastore-python \
--gen2 \
--region=us-central1 \
--trigger-location=nam5 \
--runtime=python311 \
--source=gs://example_bucket-1/datastoreEventFunction.zip \
--entry-point=make_upper_case \
--trigger-event-filters=type=google.cloud.datastore.entity.v1.written.withAuthContext \
--trigger-event-filters=database='(default)' \
--trigger-event-filters-path-pattern="entity='messages/{pushId}'"

Beschränkungen

Beachten Sie die folgenden Einschränkungen für Firestore-Trigger für Cloud Run Functions:

• Cloud Run Functions (1. Generation) erfordert eine vorhandene „(default)“-Datenbank im nativen Firestore-Modus. Es unterstützt keine benannten Firestore-Datenbanken und keinen Datastore-Modus. Verwenden Sie in solchen Fällen Cloud Run Functions (2. Generation), um Ereignisse zu konfigurieren.
• Die Reihenfolge ist nicht garantiert. Schnelle Änderungen können Funktionsaufrufe in einer unvorhergesehenen Reihenfolge auslösen.
• Ereignisse werden mindestens einmal übergeben. Ein einzelnes Ereignis kann aber zu mehreren Funktionsaufrufen führen. Vermeiden Sie die Abhängigkeit von genau einmal vorkommenden Verfahren und schreiben Sie idempotente Funktionen.
• Firestore im Datastore-Modus erfordert Cloud Run Functions (2. Generation). Cloud Run Functions (1. Generation) unterstützt den Datastore-Modus nicht.
• Ein Trigger ist mit einer einzelnen Datenbank verknüpft. Sie können keinen Trigger erstellen, der mit mehreren Datenbanken übereinstimmt.
• Wenn Sie eine Datenbank löschen, werden keine Trigger für diese Datenbank automatisch gelöscht. Der Trigger sendet keine Ereignisse mehr, bleibt aber bestehen, bis Sie ihn löschen.
• Wenn ein übereinstimmendes Ereignis die maximale Anfragegröße überschreitet, wird es möglicherweise nicht an Cloud Run Functions der 1. Generation gesendet.
  • Ereignisse, die aufgrund der Anfragengröße nicht zugestellt werden, werden in Plattformlogs protokolliert und auf die Log-Nutzung für das Projekt angerechnet.
  • Sie finden diese Logs im Log-Explorer mit der Meldung "Ereignis kann nicht an die Cloud Functions-Funktion gesendet werden, da die Größe das Limit für die 1. Generation überschreitet..." mit dem Schweregrad error. Den Funktionsnamen finden Sie im Feld functionName. Wenn das Feld receiveTimestamp noch innerhalb einer Stunde liegt, können Sie den tatsächlichen Ereignisinhalt ableiten, indem Sie das betreffende Dokument mit einem Snapshot vor und nach dem Zeitstempel lesen.
  • So können Sie das vermeiden:
    • Migrieren und Upgrade auf Cloud Run Functions (2. Generation)
    • Dokument verkleinern
    • Die betreffenden Cloud Run Functions-Funktionen löschen
  • Sie können das Logging selbst mit Ausschlüssen deaktivieren. Die betreffenden Ereignisse werden jedoch weiterhin nicht zugestellt.

Eventarc- und Firestore-Standorte im Datastore-Modus

Eventarc unterstützt keine multiregionalen Standorte für Firestore-Ereignistrigger. Sie können aber weiterhin Trigger für Firestore-Datenbanken an multiregionalen Standorten erstellen. Eventarc ordnet Firestore-Mehrfachregionsstandorte den folgenden Eventarc-Regionen zu:

Nächste Schritte

• Weitere Informationen zu ereignisgesteuerten Architekturen
• Codebeispiele für den Datastore-Modus