Bilder mit Gemini generieren

Mit Sammlungen den Überblick behalten Sie können Inhalte basierend auf Ihren Einstellungen speichern und kategorisieren.

Gemini 2.0 Flash unterstützt die Generierung von Antworten in mehreren Modalitäten, einschließlich Text und Bildern.

Bilderstellung

Die öffentliche Vorschau von Gemini 2.0 Flash für die Bildgenerierung (gemini-2.0-flash-preview-image-generation) unterstützt neben Text auch die Generierung von Bildern. Dadurch werden die Funktionen von Gemini um Folgendes erweitert:

• Bilder durch Unterhaltungen in natürlicher Sprache iterativ generieren und dabei für Konsistenz und Kontext sorgen.
• Bilder mit hochwertigem Rendering von langen Texten generieren
• Verschachtelte Text-/Bildausgabe generieren. Beispiel: Ein Blogpost mit Text und Bildern in einer einzigen Kurve. Bisher war es dafür erforderlich, mehrere Modelle zusammenzuführen.
• Mit dem Weltwissen und den Argumentationsfunktionen von Gemini Bilder generieren

Mit dieser öffentlichen experimentellen Version kann Gemini 2.0 Flash Bilder mit 1.024 Pixeln generieren, unterstützt das Generieren und Bearbeiten von Bildern von Personen und enthält aktualisierte Sicherheitsfilter, die eine flexiblere und weniger eingeschränkte Nutzererfahrung ermöglichen.

Es werden die folgenden Modalitäten und Funktionen unterstützt:

• Text zu Bild

  • Beispiel für einen Prompt: „Generiere ein Bild vom Eiffelturm mit Feuerwerk im Hintergrund.“

• Text zu Bild (Text-Rendering)

  • Beispiel für einen Prompt: „Erstelle ein filmisches Foto eines großen Gebäudes mit dieser riesigen Textprojektion auf der Vorderseite des Gebäudes: ‚Gemini 2.0 kann jetzt langen Text generieren‘.“

• Text in Bilder und Text (verschachtelt)

  • Beispiel für einen Prompt: „Erstelle ein illustriertes Rezept für eine Paella. Erstellen Sie beim Erstellen des Rezepts Bilder neben dem Text.“
  • Beispiel für einen Prompt: „Erstelle eine Geschichte über einen Hund im Stil einer 3D-Cartoon-Animation. Für jede Szene ein Bild generieren“

• Bilder und Text in Bilder und Text (verschachtelt)

  • Beispiel für einen Prompt: (Mit einem Bild eines eingerichteten Raums) „Welche anderen Sofas in anderen Farben würden in meinem Raum passen? Können Sie das Bild aktualisieren?“

• Bildbearbeitung (Text und Bild zu Bild)

  • Beispiel für einen Prompt: „Bearbeiten Sie dieses Bild so, dass es wie ein Cartoon aussieht.“
  • Beispiel für einen Prompt: [Bild einer Katze] + [Bild eines Kissens] + "Erstelle ein Bild meiner Katze auf diesem Kissen.“

• Bildbearbeitung mit mehreren Antworten (Chat)

  • Beispiele für Prompts: [Lade ein Bild eines blauen Autos hoch.] „Machen Sie dieses Auto zu einem Cabrio.“ „Ändern Sie jetzt die Farbe in Gelb.“

Beschränkungen:

• Die beste Leistung erzielen Sie mit den folgenden Sprachen: DE, es-MX, ja-JP, zh-CN, hi-IN.
• Für die Bildgenerierung werden keine Audio- oder Videoeingaben unterstützt.
• Die Bildgenerierung wird möglicherweise nicht immer ausgelöst:
  • Das Modell gibt möglicherweise nur Text aus. Fordern Sie explizit Bildausgaben an. Beispiel: „Während des Tests Bilder hinzufügen“
  • Das Modell kann Text als Bild generieren. Fordern Sie explizit Textausgaben an. Beispiel: „Erstelle einen beschreibenden Text mit Illustrationen.“
  • Möglicherweise wird die Generierung durch das Modell vorzeitig beendet. Versuchen Sie es noch einmal oder verwenden Sie einen anderen Prompt.

Bilder erstellen

In den folgenden Abschnitten wird beschrieben, wie Sie Bilder mit Vertex AI Studio oder mit der API generieren.

Eine Anleitung und Best Practices für Prompts finden Sie unter Multimodale Prompts entwerfen.

pip install --upgrade google-genai

# Replace the `GOOGLE_CLOUD_PROJECT` and `GOOGLE_CLOUD_LOCATION` values
# with appropriate values for your project.
export GOOGLE_CLOUD_PROJECT=GOOGLE_CLOUD_PROJECT
export GOOGLE_CLOUD_LOCATION=global
export GOOGLE_GENAI_USE_VERTEXAI=True

from google import genai
from google.genai.types import GenerateContentConfig, Modality
from PIL import Image
from io import BytesIO

client = genai.Client()

response = client.models.generate_content(
    model="gemini-2.0-flash-exp",
    contents=(
        "Generate an image of the Eiffel tower with fireworks in the background."
    ),
    config=GenerateContentConfig(response_modalities=[Modality.TEXT, Modality.IMAGE]),
)
for part in response.candidates[0].content.parts:
    if part.text:
        print(part.text)
    elif part.inline_data:
        image = Image.open(BytesIO((part.inline_data.data)))
        image.save("example-image.png")
# Example response:
#   A beautiful photograph captures the iconic Eiffel Tower in Paris, France,
#   against a backdrop of a vibrant and dynamic fireworks display. The tower itself...

curl -X POST \
  -H "Authorization: Bearer $(gcloud auth print-access-token)" \
  -H "Content-Type: application/json" \
  https://${API_ENDPOINT}:generateContent \
  -d '{
    "contents": {
      "role": "USER",
      "parts": { "text": "Create a tutorial explaining how to make a peanut butter and jelly sandwich in three easy steps."},
    },
    "generation_config": {
      "response_modalities": ["TEXT", "IMAGE"],
     },
     "safetySettings": {
      "method": "PROBABILITY",
      "category": "HARM_CATEGORY_DANGEROUS_CONTENT",
      "threshold": "BLOCK_MEDIUM_AND_ABOVE"
    },
  }' 2>/dev/null >response.json

Bild bearbeiten

pip install --upgrade google-genai

# Replace the `GOOGLE_CLOUD_PROJECT` and `GOOGLE_CLOUD_LOCATION` values
# with appropriate values for your project.
export GOOGLE_CLOUD_PROJECT=GOOGLE_CLOUD_PROJECT
export GOOGLE_CLOUD_LOCATION=global
export GOOGLE_GENAI_USE_VERTEXAI=True

from google import genai
from google.genai.types import GenerateContentConfig, Modality
from PIL import Image
from io import BytesIO

client = genai.Client()

# Using an image of Eiffel tower, with fireworks in the background.
image = Image.open("example-image.png")

response = client.models.generate_content(
    model="gemini-2.0-flash-exp",
    contents=[image, "Edit this image to make it look like a cartoon."],
    config=GenerateContentConfig(response_modalities=[Modality.TEXT, Modality.IMAGE]),
)
for part in response.candidates[0].content.parts:
    if part.text:
        print(part.text)
    elif part.inline_data:
        image = Image.open(BytesIO((part.inline_data.data)))
        image.save("bw-example-image.png")
# Example response:
#  Here's the cartoon-style edit of the image:
#  Cartoon-style edit:
#  - Simplified the Eiffel Tower with bolder lines and slightly exaggerated proportions.
#  - Brightened and saturated the colors of the sky, fireworks, and foliage for a more vibrant, cartoonish look.
#  ....

curl -X POST \
  -H "Authorization: Bearer $(gcloud auth print-access-token)" \
  -H "Content-Type: application/json" \
  https://${API_ENDPOINT}:generateContent \
  -d '{
    "contents": {
      "role": "USER",
      "parts": [
        {"file_data": {
          "mime_type": "image/jpg",
          "file_uri": "<var>FILE_NAME</var>"
          }
        },
        {"text": "Convert this photo to black and white, in a cartoonish style."},
      ]

    },
    "generation_config": {
      "response_modalities": ["TEXT", "IMAGE"],
    },
    "safetySettings": {
      "method": "PROBABILITY",
      "category": "HARM_CATEGORY_DANGEROUS_CONTENT",
      "threshold": "BLOCK_MEDIUM_AND_ABOVE"
    },
  }' 2>/dev/null >response.json

Verschachtelte Bilder und Texte erstellen

Gemini 2.0 Flash kann mit seinen Textantworten überlappende Bilder generieren. So können Sie beispielsweise Bilder für jeden Schritt eines generierten Rezepts erstellen, die zum Text des jeweiligen Schritts passen, ohne separate Anfragen an das Modell senden zu müssen.

pip install --upgrade google-genai

# Replace the `GOOGLE_CLOUD_PROJECT` and `GOOGLE_CLOUD_LOCATION` values
# with appropriate values for your project.
export GOOGLE_CLOUD_PROJECT=GOOGLE_CLOUD_PROJECT
export GOOGLE_CLOUD_LOCATION=global
export GOOGLE_GENAI_USE_VERTEXAI=True

from google import genai
from google.genai.types import GenerateContentConfig, Modality
from PIL import Image
from io import BytesIO

client = genai.Client()

response = client.models.generate_content(
    model="gemini-2.0-flash-exp",
    contents=(
        "Generate an illustrated recipe for a paella."
        "Create images to go alongside the text as you generate the recipe"
    ),
    config=GenerateContentConfig(response_modalities=[Modality.TEXT, Modality.IMAGE]),
)
with open("paella-recipe.md", "w") as fp:
    for i, part in enumerate(response.candidates[0].content.parts):
        if part.text is not None:
            fp.write(part.text)
        elif part.inline_data is not None:
            image = Image.open(BytesIO((part.inline_data.data)))
            image.save(f"example-image-{i+1}.png")
            fp.write(f"![image](./example-image-{i+1}.png)")
# Example response:
#  A markdown page for a Paella recipe(`paella-recipe.md`) has been generated.
#   It includes detailed steps and several images illustrating the cooking process.

curl -X POST \
  -H "Authorization: Bearer $(gcloud auth print-access-token)" \
  -H "Content-Type: application/json" \
  https://${API_ENDPOINT}:generateContent \
  -d '{
    "contents": {
      "role": "USER",
      "parts": { "text": "Create a tutorial explaining how to make a peanut butter and jelly sandwich in three easy steps. For each step, provide a title with the number of the step, an explanation, and also generate an image, generate each image in a 1:1 aspect ratio."},
    },
    "generation_config": {
      "response_modalities": ["TEXT", "IMAGE"],
     },
     "safetySettings": {
      "method": "PROBABILITY",
      "category": "HARM_CATEGORY_DANGEROUS_CONTENT",
      "threshold": "BLOCK_MEDIUM_AND_ABOVE"
    },
  }' 2>/dev/null >response.json