In dieser Anleitung wird gezeigt, wie Sie mit BigQuery, Cloud Run und dem Gemma-LLM Erkenntnisse aus großen Datasets gewinnen können. In dieser Anleitung stellen Sie eine Beispielanwendung in Google Kubernetes Engine (GKE) bereit. Die Beispiel-App nutzt BigQuery für die Datenspeicherung und -verarbeitung, Cloud Run für die Verarbeitung von Anfragen und das Gemma-LLM für die Analyse von Daten und die Generierung von Vorhersagen auf Grundlage eingehender Prompts.
Diese Anleitung richtet sich an Cloud Platform-Administratoren und -Architekten, Data & AI-Spezialisten, ML-Entwickler und MLOps-Experten (DevOps). Machen Sie sich vor dem Lesen dieser Seite mit Kubernetes und einer Notebook-Umgebung wie Jupyter vertraut.
Als Voraussetzung für diese Anleitung müssen Sie die Anleitung Offene Gemma-Modelle mit GPUs in GKE mit Hugging Face TGI bereitstellen durcharbeiten. Das TGI-Framework erleichtert die Bereitstellung von Modellen.
Warum GKE und BigQuery?
BigQuery ist ein vollständig verwaltetes, serverloses Data Warehouse Platform as a Service (PaaS)), das skalierbare Analysen von Petabytes an Daten ermöglicht. Mit BigQuery können Sie sich auf die Datenanalyse konzentrieren und wichtige Informationen erhalten. Dabei können Sie vertraute SQL-Funktionen und integriertes maschinelles Lernen nutzen.
Wenn Sie GPUs in GKE mit TGI verwenden, können Sie ein Gemma-Sprachmodell bereitstellen, um Nutzerinteraktionen in natürlicher Sprache zu analysieren und zusammenzufassen. Wenn Sie BigQuery in GKE einbinden, können Sie BigQuery verwenden, um riesige Datasets (z. B. Google Analytics) effizient zu verarbeiten und die Funktionen des Modells zur Verarbeitung natürlicher Sprache zu nutzen, um aussagekräftige Statistiken zu generieren.
Als Data Scientist, Analyst oder Entscheidungsträger in einem E-Commerce-Unternehmen möchten Sie beispielsweise das Nutzerverhalten auf Ihrer Website oder in Ihrer App analysieren. Anhand dieser Informationen können Sie Nutzerpfade optimieren und personalisieren und fundierte Geschäftsentscheidungen treffen, um den Umsatz zu steigern.
In diesem Szenario könnten Sie Google Analytics-Rohdaten aus BigQuery verwenden, sie in das Gemma-Modell einfügen und Zusammenfassungen und Statistiken zu Seitenbesuchen in natürlicher Sprache erhalten. Das Gemma-Modell, das auf einer skalierbaren Infrastruktur mit GPU-Beschleunigung von GKE ausgeführt wird, verarbeitet schnell Daten zum Nutzerverhalten und identifiziert Muster und Trends. So können Sie beliebte Produktkombinationen ermitteln, häufige Abbruchpunkte im Kaufvorgang aufdecken und erfolgreiche Marketingkampagnen hervorheben, mit denen Traffic auf bestimmte Landingpages gelenkt wird.
Vorteile
Diese Lösung bietet einen optimierten Workflow mit den folgenden Vorteilen:
- BigQuery-Integration: Mit BigQuery können Sie große Datasets (wie die Google Analytics-Daten in diesem Tutorial) speichern und verarbeiten. So können Sie die Daten abfragen und zusammenfassen, die für die Analyse des Modells erforderlich sind.
- GPU-Beschleunigung: Führen Sie das Gemma-Modell in einem GKE-Cluster mit GPU-Unterstützung aus, um den Inferenzprozess zu beschleunigen. So werden Vorhersagen viel schneller als mit CPU-basierten Prozessoren generiert.
- Geringere Kosten und weniger Zeitaufwand: Mit dem Open-Source-Sprachmodell Gemma, das bereits vortrainiert ist, sparen Sie Zeit und Ressourcen, da Sie kein benutzerdefiniertes Modell von Grund auf neu erstellen müssen.
Lernziele
In dieser Anleitung erfahren Sie mehr über die folgenden Themen:
- Modell bereitstellen und verfügbar machen: Erstellen Sie eine YAML-Datei für den Dienst, um einen internen Load-Balancer für den Zugriff auf das Gemma-Modell zu definieren.
- BigQuery-Remote-Funktion erstellen: Führen Sie Python-Code aus, um eine Remote-Funktion zu definieren, die Google Analytics-Daten verwendet, Prompts für das Modell erstellt, Anfragen über den Load Balancer an den Endpunkt des Modells sendet und die Antwort des Modells zurückgibt.
- VPC-Netzwerk (Virtual Private Cloud) konfigurieren: Richten Sie ein VPC-Netzwerk und einen VPC-Connector ein, um eine sichere Kommunikation zwischen BigQuery und dem GKE-Cluster zu ermöglichen. Dies ist entscheidend, damit die Remote-Funktion auf den Modellendpunkt zugreifen kann.
- Daten analysieren: Analysieren Sie die Daten mit BigQuery DataFrames oder direkt in SQL mit dem
bq
-Befehlszeilentool. Führen Sie die bereitgestellten Code-Snippets in einem Colab Enterprise-Notebook aus, um Folgendes zu tun:- Google Analytics-Daten aus BigQuery mit SQL abfragen
- Wenden Sie die Remote-Funktion auf die Daten an, um Erkenntnisse aus dem Gemma-Modell zu gewinnen.
- Ergebnisse anzeigen
Architektur
Das folgende Architekturdiagramm zeigt die beteiligten Komponenten und ihre Interaktion:
- Verwenden Sie ein Colab Enterprise-Notebook, um Ihren Python-Code auszuführen. Mit Python können Sie die bigframes-Bibliothek verwenden, um Ihre SQL-Interaktionen zu vereinfachen.
- BigQuery dient als Engine für die Big-Data-Verarbeitung und ermöglicht die Verwendung von SQL für die Interaktion mit den Daten.
- Die Remote-Funktion ruft eine Cloud Run-Funktion auf. Die Daten werden automatisch an die Remote-Funktion weitergeleitet, wo sie vorbereitet und zur Inferenz an GKE gesendet werden.
- Die Ergebnisse werden an BigQuery zurückgesendet und in einer Tabelle angezeigt.
Kosten
In diesem Dokument verwenden Sie die folgenden kostenpflichtigen Komponenten von Google Cloud:
- Compute Engine instances used by GKE
- GPU resources used by GKE
- BigQuery
- Cloud Load Balancing
- Cloud Run functions
Mit dem Preisrechner können Sie eine Kostenschätzung für Ihre voraussichtliche Nutzung vornehmen.
Nach Abschluss der in diesem Dokument beschriebenen Aufgaben können Sie weitere Kosten vermeiden, indem Sie die erstellten Ressourcen löschen. Weitere Informationen finden Sie unter Bereinigen.
Hinweise
Sie müssen die folgenden Voraussetzungen erfüllen:
Projekt auswählen oder erstellen
Sie können ein vorhandenes Projekt verwenden oder für diese Anleitung ein neues erstellen.
- Sign in to your Google Cloud account. If you're new to Google Cloud, create an account to evaluate how our products perform in real-world scenarios. New customers also get $300 in free credits to run, test, and deploy workloads.
-
In the Google Cloud console, on the project selector page, select or create a Google Cloud project.
-
Make sure that billing is enabled for your Google Cloud project.
-
In the Google Cloud console, on the project selector page, select or create a Google Cloud project.
-
Make sure that billing is enabled for your Google Cloud project.
- Replace
PROJECT_ID
with your project ID. -
Replace
USER_IDENTIFIER
with the identifier for your user account. For example,user:myemail@example.com
. - Replace
ROLE
with each individual role. - Ersetzen Sie
PROJECT_ID
durch Ihre Projekt-ID. - Ersetzen Sie
PROJECT_NUMBER
durch Ihre Projektnummer, um die Compute Engine-Standarddienstkontodomäne für Ihr Projekt zu erstellen. Beispiel:123456789012-compute@developer.gserviceaccount.com
- Ersetzen Sie
ROLE
durch jede einzelne Rolle.
APIs aktivieren
Enable the Artifact Registry, Compute Engine, GKE, IAM Service Account Credentials, Cloud Functions, Cloud Build, Cloud Run Admin, Cloud Logging, Serverless VPC Access, BigQuery, Dataform, Vertex AI APIs.
Cloud Shell einrichten
In dieser Anleitung verwenden Sie Cloud Shell zum Ausführen von gcloud
- und kubectl
-Befehlen. Cloud Shell ist eine Shell-Umgebung für die Verwaltung von Ressourcen, die in Google Cloudgehostet werden. Sie ist bei Google Cloud CLI und dem kubectl-Befehlszeilentool vorinstalliert.
In the Google Cloud console, activate Cloud Shell.
In einem Frame im unteren Teil der Console wird eine Cloud Shell-Sitzung geöffnet.
Achten Sie vor dem Ausführen von Befehlen in dieser Anleitung darauf, dass Ihr Standardprojekt auf die Projekt-ID festgelegt ist, in der Sie die Beispielanwendung bereitstellen möchten. Führen Sie den folgenden Befehl in Cloud Shell aus, falls sie noch nicht festgelegt ist:
gcloud config set project PROJECT_ID
Ersetzen Sie PROJECT_ID
durch Ihre Projekt-ID.
IAM-Rollen zuweisen
Prüfen Sie, ob Ihr Nutzerkonto und das Compute Engine-Standarddienstkonto in Ihrem Projekt die erforderlichen IAM-Rollen für diese Anleitung haben.
Grant roles to your user account. Run the following command once for each of the following
IAM roles:
roles/aiplatform.colabEnterpriseAdmin, roles/run.invoker, roles/container.admin, roles/iam.serviceAccountAdmin, roles/logging.logWriter
gcloud projects add-iam-policy-binding PROJECT_ID --member="user:USER_IDENTIFIER" --role=ROLE
Weisen Sie Ihrem Compute Engine-Standarddienstkonto Rollen zu. Führen Sie den folgenden Befehl für jede der folgenden IAM-Rollen einmal aus: roles/logging.logWriter, roles/artifactregistry.writer, roles/storage.objectViewer
gcloud projects add-iam-policy-binding PROJECT_ID --member="serviceAccount:PROJECT_NUMBER-compute@developer.gserviceaccount.com" --role=ROLE
Gemma-Modell bereitstellen
Rufen Sie die Anleitung Offene Gemma-Modelle mit GPUs in GKE mit Hugging Face TGI bereitstellen auf und folgen Sie der Anleitung von Vorbereitung bis Mit dem Modell über curl interagieren, um sicherzustellen, dass Ihr Gemma-Modell erfolgreich bereitgestellt wurde und Sie damit interagieren können.
Stellen Sie für diese Anleitung das Modell Gemma 2B-it bereit.
VPC-Netzwerk einrichten
VPC-Netzwerk in der Region us-central1
erstellen oder verwenden, damit Ihre Remote-Funktion eine Verbindung zum GKE-Cluster herstellen kann.
Verwenden Sie in dieser Anleitung die VPC Default
.
Damit Ihr BigQuery-Dataset, Ihre Remote-Funktion und die zugrunde liegenden Cloud Run-Funktionen an kompatiblen Standorten bereitgestellt werden, muss sich das VPC-Netzwerk in derselben Region wie Ihre BigQuery-Remote-Funktion befinden.
In diesem Tutorial geben Sie beim Festlegen von BigQuery DataFrames-Optionen beim Erstellen einer Remote-Funktion US
als Speicherort für Ihr Dataset an. Dies ist standardmäßig die Region us-central1
für Ihre Cloud Run-Funktionen. Erstellen oder verwenden Sie die VPC daher in der Region us-central1
.
Load-Balancer erstellen
So erstellen Sie einen internen Load-Balancer in Ihrem GKE-Cluster:
Erstellen Sie das folgende
tgi-2b-lb-service.yaml
-Manifest:apiVersion: v1 kind: Service metadata: name: llm-lb-service annotations: networking.gke.io/load-balancer-type: "Internal" spec: selector: app: gemma-server type: LoadBalancer ports: - protocol: TCP port: 8000 targetPort: 8000
Öffnen Sie ein neues Cloud Shell-Terminal und führen Sie den folgenden Befehl aus, um das Manifest anzuwenden:
kubectl apply -f tgi-2b-lb-service.yaml
Rufen Sie die IP-Adresse des Load-Balancers ab. Es kann 1 bis 2 Minuten dauern, bis diese IP-Adresse abgerufen werden kann:
kubectl get service llm-lb-service --output yaml | grep ip:
Sie verwenden diese IP-Adresse, um mit Ihrer gemma-server
-Anwendung zu kommunizieren, die hinter dem Load-Balancer ausgeführt wird.
Connector erstellen
Sie verwenden einen Connector für Serverloser VPC-Zugriff, um Anfragen über Ihr VPC-Netzwerk zu senden und zu empfangen, ohne das öffentliche Internet zu verwenden. Weitere Informationen finden Sie unter Serverless VPC Access.
In dieser Anleitung erstellen Sie einen Connector mit einem neuen, dedizierten Subnetz, um IP-Adresskonflikte mit vorhandenen Ressourcen in der VPC zu vermeiden. Eine Anleitung finden Sie im Abschnitt Connector erstellen. Folgen Sie der Anleitung gcloud
für den Abschnitt Connector und neues Subnetz erstellen.
Wenn Sie ein vorhandenes Subnetz verwenden möchten, folgen Sie der Anleitung im Abschnitt Connector mit einem vorhandenen Subnetz erstellen.
Weitere Informationen finden Sie unter Anforderungen an Connector-Subnetze.
Notebook erstellen
In dieser Anleitung verwenden Sie ein Colab Enterprise-Notebook, um den gesamten Code zum Definieren der BigQuery-Remote-Funktion und zum Ausführen der Analyse auszuführen.
So erstellen Sie ein Colab Enterprise-Notebook mithilfe der Google Cloud Console:
Rufen Sie in der Google Cloud Console die Seite Colab Enterprise-Notebooks auf:
Wählen Sie im Menü Region die Option
us-central1
aus. Dies ist dieselbe Region, in der Sie alle Ihre Dienste in dieser Anleitung erstellen.Klicken Sie neben Dateien auf Notebook erstellen.
Ihr neues Notebook wird auf dem Tab Meine Notebooks angezeigt.
Wenn Sie Code in Ihrem neuen Notebook ausführen möchten, fügen Sie für jeden Befehl oder jedes Code-Snippet, das Sie ausführen möchten, eine neue Codezelle in Ihr Notebook ein.
BigQuery-Remote-Funktion erstellen
Eine Möglichkeit, eine BigQuery-Remote-Funktion zu definieren, ist die Verwendung der bigframes
-Bibliothek. In diesem Abschnitt verwenden Sie bigframes
, um eine Remote-Funktion namens process_incoming
zu erstellen. Diese Remote-Funktion verwendet Google Analytics-Daten als Eingabe, erstellt einen Prompt und sendet ihn zur Analyse an Ihr Gemma-Modell.
Gehen Sie in dem von Ihnen erstellten Colab Enterprise-Notebook so vor:
- Klicken Sie auf + Code, um eine neue Codezelle einzufügen.
Kopieren Sie den folgenden Code in die neue Codezelle:
# Install the necessary packages on the notebook runtime %pip install --upgrade bigframes --quiet import bigframes.pandas as bpd import os import ast import requests # Replace the following variables # Use the format ip:port # For example, "10.128.05:8000" lb_url = "LOADBALANCER_IP_ADDRESS:8000" # Set BigQuery DataFrames options bpd.options.bigquery.project = "PROJECT_ID" bpd.options.bigquery.location = "US" # Update the VPC connector name with the one you created vpc_connector_name = "VPC_CONNECTOR_NAME" # Create a remote function using bigframes # https://cloud.google.com/bigquery/docs/remote-functions#bigquery-dataframes @bpd.remote_function( dataset="ga_demo", name="ga_explain_example", bigquery_connection="bigframes-rf-conn", reuse=True, packages=["requests"], cloud_function_vpc_connector=VPC_CONNECTOR_NAME, cloud_function_service_account="default", ) def process_incoming(data: str) -> str: ga_data = ast.literal_eval(data) USER_PROMPT = """ 'The following are the results from Google Analytics. They are reverse ranked. reverse_event_number 1 is the last page visited. reverse_event_number 2 is the second last page visited. You are given the following data. {} Can you summarize what was the most popular page people landed on and what page they came from? """.format(ga_data) url = 'http://{}/generate'.format(lb_url) myobj = { "inputs": USER_PROMPT, "temperature": 0.90, "top_p": 0.95, "max_tokens": 2048 } x = requests.post(url, json=myobj) result = x.text return (result) function_name = process_incoming.bigframes_remote_function print (f"The function name is: {function_name}")
Ersetzen Sie Folgendes:
LOADBALANCER_IP_ADDRESS
: die IP-Adresse und der Port des internen Load-Balancers, den Sie zuvor erstellt haben, z. B.10.128.05:8000
.PROJECT_ID
: Ihre Projekt-ID.VPC_CONNECTOR_NAME
: der Name des Connectors für serverlosen VPC-Zugriff, den Sie zuvor erstellt haben.
In dieser Anleitung ist der Speicherort Ihres BigQuery-Datasets auf
US
festgelegt, was standardmäßig der Regionus-central1
entspricht.Klicken Sie auf
Zelle ausführen.
In der Ausgabe wird der Name der Funktion in etwa so angezeigt:
The function name is: PROJECT_ID.ga_demo.ga_explain_example
Nutzerverhalten analysieren
In diesem Abschnitt analysieren Sie das Nutzerverhalten auf Ihrer Website mit der process_incoming
-Remote-Funktion. Dazu haben Sie zwei Möglichkeiten:
- BigQuery DataFrames verwenden
- mit dem
bq
-Befehlszeilentool eine Abfrage direkt in SQL ausführen.
BigQuery DataFrames verwenden
So führen Sie die Remote-Funktion mit BigQuery DataFrames im erstellten Colab Enterprise-Notebook aus:
- Klicken Sie auf + Code, um eine neue Codezelle einzufügen.
- Kopieren Sie den folgenden Code in die neue Codezelle und klicken Sie auf Zelle ausführen.
# Generate a list of all matchups and their histories as a JSON
grouping_sql = """
with
data_table as (
SELECT
distinct
user_pseudo_id,
events.value.string_value,
event_timestamp,
rank() over (partition by user_pseudo_id order by event_timestamp desc) as reverse_event_number
FROM
`bigquery-public-data.ga4_obfuscated_sample_ecommerce.events_20210131` as events20210131,
unnest (events20210131.event_params) as events
where events.key = 'page_location'
qualify reverse_event_number < 3
)
select
*,TO_JSON_STRING (data_table) as ga_history
from data_table
limit 10;
"""
ga_df = bpd.read_gbq(grouping_sql)
post_processed = ga_df.assign(results=ga_df['ga_history'].apply(process_incoming),axis=1)
post_processed.head(10)
Die folgende Ausgabe zeigt die Beispielergebnisse der Abfrage:
user_pseudo_id | string_value | event_timestamp | reverse_event_number | ga_history | Ergebnisse | Achse |
---|---|---|---|---|---|---|
0 | 2342103247.0307162928 | https://shop.googlemerchandisestore.com/Google... | 1612096237169825 | 2 | {"user_pseudo_id":"2342103247.0307162928","str... | {"generated_text":"\n 'The following are... |
1 | 48976087.6959390698 | https://www.googlemerchandisestore.com/ | 1612056537823270 | 2 | {"user_pseudo_id":"48976087.6959390698","strin... | {"generated_text":"\n \n ```python\n imp... |
bq
-Befehlszeilentool verwenden
Alternativ können Sie das bq
-Befehlszeilentool verwenden, um Analysen direkt mit SQL durchzuführen.
So führen Sie die Remote-Funktion mit dem bq
-Befehlszeilentool im erstellten Colab Enterprise-Notebook aus:
- Klicken Sie auf + Code, um eine neue Codezelle einzufügen.
Kopieren Sie den folgenden Code in die neue Codezelle und ersetzen Sie
PROJECT_ID
durch Ihre Projekt-ID.# Update with your PROJECT_ID function_name = 'PROJECT_ID.ga_demo.ga_explain_example' new_sql = """'with \ data_table as ( \ SELECT \ distinct \ user_pseudo_id, \ events.value.string_value, \ event_timestamp, \ rank() over (partition by user_pseudo_id order by event_timestamp desc) as reverse_event_number \ FROM \ `bigquery-public-data.ga4_obfuscated_sample_ecommerce.events_20210131` as events20210131, \ unnest (events20210131.event_params) as events \ where events.key = "page_location" \ qualify reverse_event_number < 3 \ ) \ select \ *, `{}`(TO_JSON_STRING (data_table)) as result \ from data_table \ limit 10;' \ """.format(function_name) # Run query using bq cli directly in a notebook cell !bq query --use_legacy_sql=false \ {new_sql}
Klicken Sie auf
Zelle ausführen.
Die folgende Ausgabe zeigt die Beispielergebnisse der Abfrage:
user_pseudo_id | string_value | event_timestamp | reverse_event_number | Ergebnis |
---|---|---|---|---|
86037838.0267811614 | https://shop.googlemerchandisestore.com/Google+Redesign/Apparel/Google+Dino+Game+Tee | 1612128627715585 | 1 | {"generated_text":"Antwort:\n Die beliebteste Seite war https://shop.googlemerchandisestore.com/Google+Redesign/Apparel/Google+Dino+Game+Tee\n Die zweitbeliebteste Seite war die Seite, von der der Nutzer kam.\n\n Erklärung:\n\nDie bereitgestellten Daten zeigen, dass der aktuelle Nutzer den Google Merchandise Store speziell für das Produkt „Google Dino Game Tee“ besucht hat. \n \nWichtige Überlegungen:\n\n* Dateninterpretation:Sie können nicht definitiv sagen, dass die"} |
4024190.3037653934 | https://shop.googlemerchandisestore.com/Google+Redesign/Apparel/Google+Black+Cloud+Zip+Hoodie | 1612085948486438 | 1 | {"generated_text":"\n ```python\n import pandas as pd\n\n data = {'user_pseudo_id': ['4024190.3037653934', '4024190.3037653934', '4024190.3037653934'],\n 'string_value': ['https://shop.googlemerchandisestore.com"} |
Bereinigen
Damit Ihrem Google Cloud-Konto die in dieser Anleitung verwendeten Ressourcen nicht in Rechnung gestellt werden, löschen Sie entweder das Projekt, das die Ressourcen enthält, oder Sie behalten das Projekt und löschen die einzelnen Ressourcen.
Damit Ihrem Google Cloud Konto die in dieser Anleitung verwendeten Ressourcen nicht in Rechnung gestellt werden, löschen Sie die einzelnen Ressourcen.
- Colab Enterprise-Notebook löschen
- Colab Enterprise-Laufzeit löschen
- Löschen Sie Ihre BigQuery-Funktion.
Prüfen Sie, ob Ihr Dienstkonto die Berechtigung
bigquery.routines.delete
hat. Weitere Informationen finden Sie unter BigQuery-Berechtigungen. - Löschen Sie Ihre externe BigQuery-Verbindung.
- Cloud Run-Funktionen löschen
- Löschen Sie den GKE-Cluster.
- VPC-Connector löschen
Nächste Schritte
- Probieren Sie ein Codelab aus, um einen Anwendungsfall für die Analyse strukturierter und unstrukturierter Daten kennenzulernen.
- Weitere Informationen finden Sie unter Best Practices zum Ausführen von Batch-Arbeitslasten in GKE.
- Weitere Informationen zu KI-/ML-Anwendungsfällen in BigQuery
- Weitere Informationen zu KI-/ML-Anwendungsfällen in GKE