Kurzanleitung: Text mit der Gemini API in Vertex AI generieren
In dieser Kurzanleitung senden Sie die folgenden multimodalen Anfragen an die Gemini API in Vertex AI und sehen sich die Antworten an:
- Ein Text-Prompt
- Ein Prompt und ein Bild
- Ein Prompt und eine Videodatei (mit einem Audiotrack)
Sie können diese Kurzanleitung mit einem SDK für Programmiersprachen in Ihrer lokalen Umgebung oder mit der REST API durcharbeiten.
Vorbereitung
Für diese Kurzanleitung müssen Sie Folgendes tun:
- Ein Google Cloud Projekt einrichten und die Vertex AI API aktivieren
- Auf Ihrem lokalen Computer:
- Google Cloud CLI installieren, initialisieren und authentifizieren
- SDK für Ihre Sprache installieren
Google Cloud -Projekt einrichten
Richten Sie Ihr Google Cloud -Projekt ein und aktivieren Sie die Vertex AI API.
- Sign in to your Google Cloud account. If you're new to Google Cloud, create an account to evaluate how our products perform in real-world scenarios. New customers also get $300 in free credits to run, test, and deploy workloads.
-
In the Google Cloud console, on the project selector page, select or create a Google Cloud project.
-
Make sure that billing is enabled for your Google Cloud project.
-
Enable the Vertex AI API.
-
Make sure that you have the following role or roles on the project: Vertex AI Platform Express User
Check for the roles
-
In the Google Cloud console, go to the IAM page.
Go to IAM - Select the project.
-
In the Principal column, find all rows that identify you or a group that you're included in. To learn which groups you're included in, contact your administrator.
- For all rows that specify or include you, check the Role column to see whether the list of roles includes the required roles.
Grant the roles
-
In the Google Cloud console, go to the IAM page.
Zu IAM - Wählen Sie das Projekt aus.
- Klicken Sie auf Zugriff erlauben.
-
Geben Sie im Feld Neue Hauptkonten Ihre Nutzer-ID ein. Dies ist in der Regel die E-Mail-Adresse eines Google-Kontos.
- Wählen Sie in der Liste Rolle auswählen eine Rolle aus.
- Wenn Sie weitere Rollen hinzufügen möchten, klicken Sie auf Weitere Rolle hinzufügen und fügen Sie weitere Rollen hinzu.
- Klicken Sie auf Speichern.
-
-
In the Google Cloud console, on the project selector page, select or create a Google Cloud project.
-
Make sure that billing is enabled for your Google Cloud project.
-
Enable the Vertex AI API.
-
Make sure that you have the following role or roles on the project: Vertex AI Platform Express User
Check for the roles
-
In the Google Cloud console, go to the IAM page.
Go to IAM - Select the project.
-
In the Principal column, find all rows that identify you or a group that you're included in. To learn which groups you're included in, contact your administrator.
- For all rows that specify or include you, check the Role column to see whether the list of roles includes the required roles.
Grant the roles
-
In the Google Cloud console, go to the IAM page.
Zu IAM - Wählen Sie das Projekt aus.
- Klicken Sie auf Zugriff erlauben.
-
Geben Sie im Feld Neue Hauptkonten Ihre Nutzer-ID ein. Dies ist in der Regel die E-Mail-Adresse eines Google-Kontos.
- Wählen Sie in der Liste Rolle auswählen eine Rolle aus.
- Wenn Sie weitere Rollen hinzufügen möchten, klicken Sie auf Weitere Rolle hinzufügen und fügen Sie weitere Rollen hinzu.
- Klicken Sie auf Speichern.
-
-
Installieren und initialisieren Sie Google Cloud CLI.
-
Wenn Sie die gcloud CLI bereits installiert haben, aktualisieren Sie die
gcloud
-Komponenten mit diesem Befehl.gcloud components update
-
Wenn Sie sich mit der gcloud CLI authentifizieren möchten, generieren Sie eine lokale Datei mit Standardanmeldedaten für Anwendungen (Application Default Credentials, ADC), indem Sie diesen Befehl ausführen. Der durch den Befehl gestartete Web-Ablauf wird verwendet, um Ihre Nutzeranmeldedaten anzugeben.
gcloud auth application-default login
Weitere Informationen finden Sie unter Standardanmeldedaten für Anwendungen einrichten.
Konfigurieren Sie Umgebungsvariablen. Dazu geben Sie Folgendes ein. Ersetzen Sie
PROJECT_ID
durch die ID Ihres Projekts. Google CloudMODEL_ID="gemini-2.0-flash-001" PROJECT_ID="PROJECT_ID"
Stellen Sie den Endpunkt mit der Google Cloud CLI bereit, indem Sie diesen Befehl ausführen.
gcloud beta services identity create --service=aiplatform.googleapis.com --project=${PROJECT_ID}
- Weitere Informationen zur Gemini API in Vertex AI
- Referenz zum Google Gen AI SDK
- Vertex AI-Modelle mithilfe der OpenAI-Bibliothek aufrufen
Google Cloud CLI installieren und authentifizieren
Wenn Sie die Gemini API in Vertex AI verwenden möchten, richten Sie die Google Cloud CLI auf Ihrem lokalen Computer ein und authentifizieren Sie sie. Im Gegensatz zur Gemini API in Google AI Studio, für die API-Schlüssel verwendet werden, wird der Zugriff auf die Gemini API in Vertex AI mit Identity and Access Management verwaltet.
SDK für Ihre Programmiersprache einrichten
Klicken Sie auf Ihrem lokalen Computer auf einen der folgenden Tabs, um das SDK für Ihre Programmiersprache zu installieren.
Gen AI SDK für Python
Installieren und aktualisieren Sie das Gen AI SDK für Python, indem Sie diesen Befehl ausführen.
pip install --upgrade google-genai
Gen AI SDK für Go
Installieren und aktualisieren Sie das Gen AI SDK für Go, indem Sie diesen Befehl ausführen.
go get google.golang.org/genai
Gen AI SDK für Node.js
Installieren und aktualisieren Sie das Gen AI SDK für Node.js, indem Sie diesen Befehl ausführen.
npm install @google/genai
Gen AI SDK für Java
Gen AI SDK for Java installieren und aktualisieren:
Maven
Fügen Sie zum pom.xml
Folgendes hinzu:
<dependencies>
<dependency>
<groupId>com.google.genai</groupId>
<artifactId>google-genai</artifactId>
<version>0.7.0</version>
</dependency>
</dependencies>
C#
Installieren Sie das Paket Google.Cloud.AIPlatform.V1
von NuGet. Verwenden Sie die Methode Ihrer Wahl, um Ihrem Projekt Pakete hinzuzufügen. Klicken Sie z. B. in Visual Studio mit der rechten Maustaste auf das Projekt und wählen Sie NuGet-Pakete verwalten… aus.
REST
Prompt an die Gemini API in Vertex AI senden
Mit dem folgenden Code senden Sie einen Prompt an die Gemini API in Vertex AI. In diesem Beispiel wird eine Liste möglicher Namen für ein Blumengeschäft zurückgegeben.
Sie können den Code über die Befehlszeile, mit einer IDE oder durch Einbinden des Codes in Ihre Anwendung ausführen.
Gen AI SDK for Python
Installieren
pip install --upgrade google-genai
Weitere Informationen finden Sie in der SDK-Referenzdokumentation.
Umgebungsvariablen für die Verwendung des Gen AI SDK mit Vertex AI festlegen:
# Replace the `GOOGLE_CLOUD_PROJECT` and `GOOGLE_CLOUD_LOCATION` values # with appropriate values for your project. export GOOGLE_CLOUD_PROJECT=GOOGLE_CLOUD_PROJECT export GOOGLE_CLOUD_LOCATION=global export GOOGLE_GENAI_USE_VERTEXAI=True
Gen AI SDK for Go
Informationen zum Installieren oder Aktualisieren von Gen AI SDK for Go
Weitere Informationen finden Sie in der SDK-Referenzdokumentation.
Umgebungsvariablen für die Verwendung des Gen AI SDK mit Vertex AI festlegen:
# Replace the `GOOGLE_CLOUD_PROJECT` and `GOOGLE_CLOUD_LOCATION` values # with appropriate values for your project. export GOOGLE_CLOUD_PROJECT=GOOGLE_CLOUD_PROJECT export GOOGLE_CLOUD_LOCATION=global export GOOGLE_GENAI_USE_VERTEXAI=True
Gen AI SDK for Node.js
Installieren
npm install @google/genai
Weitere Informationen finden Sie in der SDK-Referenzdokumentation.
Umgebungsvariablen für die Verwendung des Gen AI SDK mit Vertex AI festlegen:
# Replace the `GOOGLE_CLOUD_PROJECT` and `GOOGLE_CLOUD_LOCATION` values # with appropriate values for your project. export GOOGLE_CLOUD_PROJECT=GOOGLE_CLOUD_PROJECT export GOOGLE_CLOUD_LOCATION=global export GOOGLE_GENAI_USE_VERTEXAI=True
Gen AI SDK for Java
Informationen zum Installieren oder Aktualisieren von Gen AI SDK for Java
Weitere Informationen finden Sie in der SDK-Referenzdokumentation.
Umgebungsvariablen für die Verwendung des Gen AI SDK mit Vertex AI festlegen:
# Replace the `GOOGLE_CLOUD_PROJECT` and `GOOGLE_CLOUD_LOCATION` values # with appropriate values for your project. export GOOGLE_CLOUD_PROJECT=GOOGLE_CLOUD_PROJECT export GOOGLE_CLOUD_LOCATION=global export GOOGLE_GENAI_USE_VERTEXAI=True
C#
Um eine Aufforderungsanfrage zu senden, erstellen Sie eine C#-Datei (.cs
) und kopieren Sie den folgenden Code in die Datei. Legen Sie your-project-id
auf Ihre Google Cloud Projekt-ID fest. Führen Sie den Code nach dem Aktualisieren der Werte aus.
REST
Führen Sie den curl-Befehl über die Befehlszeile aus oder fügen Sie den REST-Aufruf in Ihre Anwendung ein, um diese Prompt-Anfrage zu senden.
curl -X POST \ -H "Authorization: Bearer $(gcloud auth print-access-token)" \ -H "Content-Type: application/json" \ https://aiplatform.googleapis.com/v1/projects/${PROJECT_ID}/locations/global/publishers/google/models/${MODEL_ID}:generateContent -d \ $'{ "contents": { "role": "user", "parts": [ { "text": "What\'s a good name for a flower shop that specializes in selling bouquets of dried flowers?" } ] } }'
Prompt und Bild an die Gemini API in Vertex AI senden
Mit dem folgenden Code können Sie einen Prompt mit Text und einem Bild an die Gemini API in Vertex AI senden. In diesem Beispiel wird eine Beschreibung des bereitgestellten Bilds zurückgegeben (Bild für Java-Beispiel).
Gen AI SDK for Python
Installieren
pip install --upgrade google-genai
Weitere Informationen finden Sie in der SDK-Referenzdokumentation.
Umgebungsvariablen für die Verwendung des Gen AI SDK mit Vertex AI festlegen:
# Replace the `GOOGLE_CLOUD_PROJECT` and `GOOGLE_CLOUD_LOCATION` values # with appropriate values for your project. export GOOGLE_CLOUD_PROJECT=GOOGLE_CLOUD_PROJECT export GOOGLE_CLOUD_LOCATION=global export GOOGLE_GENAI_USE_VERTEXAI=True
Gen AI SDK for Go
Informationen zum Installieren oder Aktualisieren von Gen AI SDK for Go
Weitere Informationen finden Sie in der SDK-Referenzdokumentation.
Umgebungsvariablen für die Verwendung des Gen AI SDK mit Vertex AI festlegen:
# Replace the `GOOGLE_CLOUD_PROJECT` and `GOOGLE_CLOUD_LOCATION` values # with appropriate values for your project. export GOOGLE_CLOUD_PROJECT=GOOGLE_CLOUD_PROJECT export GOOGLE_CLOUD_LOCATION=global export GOOGLE_GENAI_USE_VERTEXAI=True
Gen AI SDK for Node.js
Installieren
npm install @google/genai
Weitere Informationen finden Sie in der SDK-Referenzdokumentation.
Umgebungsvariablen für die Verwendung des Gen AI SDK mit Vertex AI festlegen:
# Replace the `GOOGLE_CLOUD_PROJECT` and `GOOGLE_CLOUD_LOCATION` values # with appropriate values for your project. export GOOGLE_CLOUD_PROJECT=GOOGLE_CLOUD_PROJECT export GOOGLE_CLOUD_LOCATION=global export GOOGLE_GENAI_USE_VERTEXAI=True
Gen AI SDK for Java
Informationen zum Installieren oder Aktualisieren von Gen AI SDK for Java
Weitere Informationen finden Sie in der SDK-Referenzdokumentation.
Umgebungsvariablen für die Verwendung des Gen AI SDK mit Vertex AI festlegen:
# Replace the `GOOGLE_CLOUD_PROJECT` and `GOOGLE_CLOUD_LOCATION` values # with appropriate values for your project. export GOOGLE_CLOUD_PROJECT=GOOGLE_CLOUD_PROJECT export GOOGLE_CLOUD_LOCATION=global export GOOGLE_GENAI_USE_VERTEXAI=True
C#
Um eine Aufforderungsanfrage zu senden, erstellen Sie eine C#-Datei (.cs
) und kopieren Sie den folgenden Code in die Datei. Legen Sie your-project-id
auf Ihre Google Cloud Projekt-ID fest. Führen Sie den Code nach dem Aktualisieren der Werte aus.
REST
Sie können diese Aufforderungsanfrage über Ihre IDE senden oder den REST-Aufruf bei Bedarf in Ihre Anwendung einbetten.
curl -X POST \ -H "Authorization: Bearer $(gcloud auth print-access-token)" \ -H "Content-Type: application/json" \ https://aiplatform.googleapis.com/v1/projects/${PROJECT_ID}/locations/global/publishers/google/models/${MODEL_ID}:generateContent -d \ $'{ "contents": { "role": "user", "parts": [ { "fileData": { "mimeType": "image/jpeg", "fileUri": "gs://generativeai-downloads/images/scones.jpg" } }, { "text": "Describe this picture." } ] } }'
Das Modell gibt eine Antwort zurück. Die Antwort wird in Abschnitten generiert, die jeweils separat auf Sicherheit geprüft werden.
Prompt und Video an die Gemini API in Vertex AI senden
Mit dem folgenden Code senden Sie einen Prompt mit Text, Audio und Video an die Gemini API in Vertex AI. Dieses Beispiel gibt eine Beschreibung des bereitgestellten Videos zurück, einschließlich wichtiger Informationen aus dem Audiotrack.
Sie können diese Prompts über die Befehlszeile, über Ihre IDE oder durch Einbinden des REST-Aufrufs in Ihre Anwendung senden.
Gen AI SDK for Python
Installieren
pip install --upgrade google-genai
Weitere Informationen finden Sie in der SDK-Referenzdokumentation.
Umgebungsvariablen für die Verwendung des Gen AI SDK mit Vertex AI festlegen:
# Replace the `GOOGLE_CLOUD_PROJECT` and `GOOGLE_CLOUD_LOCATION` values # with appropriate values for your project. export GOOGLE_CLOUD_PROJECT=GOOGLE_CLOUD_PROJECT export GOOGLE_CLOUD_LOCATION=global export GOOGLE_GENAI_USE_VERTEXAI=True
Gen AI SDK for Go
Informationen zum Installieren oder Aktualisieren von Gen AI SDK for Go
Weitere Informationen finden Sie in der SDK-Referenzdokumentation.
Umgebungsvariablen für die Verwendung des Gen AI SDK mit Vertex AI festlegen:
# Replace the `GOOGLE_CLOUD_PROJECT` and `GOOGLE_CLOUD_LOCATION` values # with appropriate values for your project. export GOOGLE_CLOUD_PROJECT=GOOGLE_CLOUD_PROJECT export GOOGLE_CLOUD_LOCATION=global export GOOGLE_GENAI_USE_VERTEXAI=True
Gen AI SDK for Node.js
Installieren
npm install @google/genai
Weitere Informationen finden Sie in der SDK-Referenzdokumentation.
Umgebungsvariablen für die Verwendung des Gen AI SDK mit Vertex AI festlegen:
# Replace the `GOOGLE_CLOUD_PROJECT` and `GOOGLE_CLOUD_LOCATION` values # with appropriate values for your project. export GOOGLE_CLOUD_PROJECT=GOOGLE_CLOUD_PROJECT export GOOGLE_CLOUD_LOCATION=global export GOOGLE_GENAI_USE_VERTEXAI=True
Gen AI SDK for Java
Informationen zum Installieren oder Aktualisieren von Gen AI SDK for Java
Weitere Informationen finden Sie in der SDK-Referenzdokumentation.
Umgebungsvariablen für die Verwendung des Gen AI SDK mit Vertex AI festlegen:
# Replace the `GOOGLE_CLOUD_PROJECT` and `GOOGLE_CLOUD_LOCATION` values # with appropriate values for your project. export GOOGLE_CLOUD_PROJECT=GOOGLE_CLOUD_PROJECT export GOOGLE_CLOUD_LOCATION=global export GOOGLE_GENAI_USE_VERTEXAI=True
C#
Um eine Aufforderungsanfrage zu senden, erstellen Sie eine C#-Datei (.cs
) und kopieren Sie den folgenden Code in die Datei. Legen Sie your-project-id
auf Ihre Google Cloud Projekt-ID fest. Führen Sie den Code nach dem Aktualisieren der Werte aus.
REST
curl -X POST \ -H "Authorization: Bearer $(gcloud auth print-access-token)" \ -H "Content-Type: application/json" \ https://aiplatform.googleapis.com/v1/projects/${PROJECT_ID}/locations/global/publishers/google/models/${MODEL_ID}:generateContent -d \ $'{ "contents": { "role": "user", "parts": [ { "fileData": { "mimeType": "video/mp4", "fileUri": "gs://cloud-samples-data/generative-ai/video/pixel8.mp4" } }, { "text": "Provide a description of the video. The description should also contain anything important which people say in the video." } ] } }'
Das Modell gibt eine Antwort zurück. Die Antwort wird in Abschnitten generiert, die jeweils separat auf Sicherheit geprüft werden.