Glossar erstellen und verwenden

Mit einem Glossar können Sie Begriffe definieren, die für Ihre Domain spezifisch sind. Mit einem Glossar können Sie Begriffspaare hinzufügen, darunter einen Begriff in der Quell- und einen in der Zielsprache. Die Begriffspaare sorgen dafür, dass der Vertex AI Translation-Dienst Ihre Terminologie konsistent übersetzt.

Hier sind einige Beispiele für Fälle, in denen Sie Glossareinträge definieren können:

• Produktnamen: Produktnamen identifizieren, damit sie in der Übersetzung beibehalten werden. Beispiel: Google Home muss in Google Home übersetzt werden.
• Mehrdeutige Wörter: Geben Sie die Bedeutung vager Wörter und Homonyme an. Das Wort Schläger kann beispielsweise ein Sportgerät oder ein Tier sein.
• Lehnwörter: Erläutern Sie die Bedeutung von Wörtern, die aus einer anderen Sprache übernommen wurden. Beispielsweise wird das französische Wort Bouillabaisse im Deutschen mit Bouillabaisse übersetzt, einem Fischeintopf.

Bei den Begriffen in einem Glossar kann es sich um einzelne Wörter (auch als Tokens bezeichnet) oder um kurze Phrasen (in der Regel weniger als fünf Wörter) handeln. Bei der Vertex AI Translation werden übereinstimmende Glossareinträge ignoriert, wenn die Wörter Stoppwörter sind.

Vertex AI Translation bietet die folgenden Glossarmethoden, die in Google Distributed Cloud (GDC) Air-Gap verfügbar sind:

Hinweise

Bevor Sie ein Glossar erstellen, um Ihre Terminologie für die Übersetzung zu definieren, müssen Sie ein Projekt mit dem Namen translation-glossary-project haben. Die benutzerdefinierte Ressource des Projekts muss wie im folgenden Beispiel aussehen:

  apiVersion: resourcemanager.gdc.goog/v1
  kind: Project
  metadata:
    labels:
      atat.config.google.com/clin-number: CLIN_NUMBER
      atat.config.google.com/task-order-number: TASK_ORDER_NUMBER
    name: translation-glossary-project
    namespace: platform

Bitten Sie Ihren Projekt-IAM-Administrator, Ihnen die folgenden Rollen in Ihrem Projekt-Namespace zuzuweisen, um die Berechtigungen zu erhalten, die Sie zur Verwendung eines Glossars benötigen:

• AI Translation Developer: Weisen Sie sich selbst die Rolle „AI Translation Developer“ (ai-translation-developer) zu, um auf den Vertex AI Translation-Dienst zuzugreifen.
• Projekt-Bucket-Administrator: Mit der Rolle „Projekt-Bucket-Administrator“ (project-bucket-admin) können Sie Storage-Buckets und Objekte in Buckets verwalten. Außerdem können Sie Dateien erstellen und hochladen.

Weitere Informationen zu den Voraussetzungen finden Sie unter Übersetzungsprojekt einrichten.

Glossardatei erstellen

Sie müssen eine Glossardatei erstellen, in der Sie die Begriffe für die Quell- und Zielsprache speichern. In diesem Abschnitt finden Sie die beiden verschiedenen Glossarlayouts, mit denen Sie Ihre Begriffe definieren können.

In der folgenden Tabelle werden die Limits für Glossardateien in Distributed Cloud beschrieben:

Wählen Sie eines der folgenden Layouts für Ihre Glossardatei aus:

• Unidirektionales Glossar: Geben Sie die erwartete Übersetzung für ein Paar aus Quell- und Zielbegriffen in einer bestimmten Sprache an. Unidirektionale Glossare unterstützen die Dateiformate TSV, CSV und TMX.
• Glossar mit Sets äquivalenter Begriffe: Geben Sie in jeder Zeile die erwartete Übersetzung in mehreren Sprachen an. Glossare mit Sets äquivalenter Begriffe unterstützen CSV-Dateiformate.

Unidirektionales Glossar

Die Vertex AI Translation API akzeptiert tabulatorgetrennte Werte (TSV) und kommagetrennte Werte (CSV). Jede Zeile enthält ein Paar von Begriffen, die durch einen Tabulator (\t) oder ein Komma (,) getrennt sind.

Die Vertex AI Translation API akzeptiert auch das Translation Memory eXchange-Format (TMX), ein XML-Standardformat zur Bereitstellung von Quell- und Zielbegriffspaaren für die Übersetzung. Die unterstützten Eingabedateien sind in einem Format, das auf TMX Version 1.4 basiert.

Die folgenden Beispiele zeigen die erforderliche Struktur für TSV-, CSV- und TMX-Dateiformate unidirektionaler Glossare:

<?xml version='1.0' encoding='utf-8'?>
<!DOCTYPE tmx SYSTEM "tmx14.dtd">
<tmx version="1.4">
  <header segtype="sentence" o-tmf="UTF-8" adminlang="en" srclang="en" datatype="PlainText"/>
  <body>
    <tu>
      <tuv xml:lang="en">
        <seg>account</seg>
      </tuv>
      <tuv xml:lang="es">
        <seg>cuenta</seg>
      </tuv>
    </tu>
    <tu>
      <tuv xml:lang="en">
        <seg>directions</seg>
      </tuv>
      <tuv xml:lang="es">
        <seg>indicaciones</seg>
      </tuv>
    </tu>
  </body>
</tmx>

Nachdem Sie die Glossarbegriffe in Ihrem unidirektionalen Glossar identifiziert haben, laden Sie die Datei in einen Speicher-Bucket hoch und stellen Sie sie der Vertex AI Translation API zur Verfügung, indem Sie ein Glossar erstellen und importieren.

Glossar mit Sets äquivalenter Begriffe

Die Vertex AI Translation API akzeptiert Glossardateien für entsprechende Sets äquivalenter Begriffe im CSV-Format. Zur Definition von Glossaren mit Sets äquivalenter Begriffe erstellen Sie eine mehrspaltige CSV-Datei und geben pro Zeile jeweils einen einzelnen Glossarbegriff in mehreren Sprachen an. Hier finden Sie eine Liste der unterstützten Sprachen und der entsprechenden Sprachcodes.

Das folgende Bild zeigt ein Beispiel für eine CSV-Datei mit mehreren Spalten. Jede Zeile steht für einen Glossarbegriff und jede Spalte für eine Übersetzung des Begriffs in verschiedene Sprachen.

Die Kopfzeile ist die erste Zeile der Datei. Sie enthält die Sprache für jede Spalte. In der Kopfzeile werden die Sprachcodes gemäß ISO-639-1 oder BCP-47 verwendet. Die Vertex AI Translation API verwendet keine Informationen zum Redeteil (pos) und bestimmte Positionswerte werden nicht validiert.

In den darauffolgenden Zeilen stehen dann in den einzelnen Spalten die äquivalenten Glossarbegriffe in den Sprachen, die laut Kopfzeile vorgesehen sind. Sie können eine Spalte leer lassen, wenn der Begriff in der betreffenden Sprache nicht verfügbar ist.

Nachdem Sie die Glossarbegriffe in Ihrem entsprechenden Begriffssatz identifiziert haben, laden Sie die Datei in einen Speicher-Bucket hoch und stellen Sie sie der Vertex AI Translation API zur Verfügung, indem Sie ein Glossar erstellen und importieren.

Glossardatei in einen Speicher-Bucket hochladen

So laden Sie Ihre Glossardatei in einen Speicher-Bucket hoch:

1. gcloud CLI für Objektspeicher konfigurieren

2. Erstellen Sie einen Storage-Bucket in Ihrem Projekt-Namespace. Verwenden Sie eine Standard-Speicherklasse.

   Sie können den Speicher-Bucket erstellen, indem Sie eine Bucket-Ressource in Ihrem Projekt-Namespace bereitstellen:

     apiVersion: object.gdc.goog/v1
     kind: Bucket
     metadata:
       name: glossary-bucket
       namespace: translation-glossary-project
     spec:
       description: bucket for translation glossary
       storageClass: Standard
       bucketPolicy:
         lockingPolicy:
           defaultObjectRetentionDays: 90
   

3. Gewähren Sie dem Dienstkonto (ai-translation-system-sa), das vom Vertex AI Translation-Dienst verwendet wird, die Berechtigungen read für den Bucket.

   So erstellen Sie die Rolle und die Rollenbindung mit benutzerdefinierten Ressourcen:

   1. Erstellen Sie die Rolle, indem Sie eine Role-Ressource im Projekt-Namespace bereitstellen:

        apiVersion: rbac.authorization.k8s.io/v1
        kind: Role
        metadata:
          name: ai-translation-glossary-reader
          namespace: translation-glossary-project
        rules:
          -
            apiGroups:
              - object.gdc.goog
            resources:
              - buckets
            verbs:
              - read-object
      

   2. Erstellen Sie die Rollenbindung, indem Sie eine RoleBinding-Ressource im Projekt-Namespace bereitstellen:

        apiVersion: rbac.authorization.k8s.io/v1
        kind: RoleBinding
        metadata:
          name: ai-translation-glossary-reader-rolebinding
          namespace: translation-glossary-project
        roleRef:
          apiGroup: rbac.authorization.k8s.io
          kind: Role
          name: ai-translation-glossary-reader
        subjects:
          -
            kind: ServiceAccount
            name: ai-translation-system-sa
            namespace: ai-translation-system
      

4. Laden Sie die Glossardatei in den von Ihnen erstellten Storage-Bucket hoch. Weitere Informationen finden Sie unter Speicherobjekte in Projekten hoch- und herunterladen.

Glossar erstellen

Mit der Methode CreateGlossary wird ein Glossar erstellt und die Kennung für den Vorgang mit langer Ausführungszeit zurückgegeben, mit dem das Glossar generiert wird.

Ersetzen Sie die folgenden Werte, bevor Sie die Anfragedaten verwenden, um ein Glossar zu erstellen:

• ENDPOINT: Der Vertex AI Translation-Endpunkt, den Sie für Ihre Organisation verwenden. Weitere Informationen
• PROJECT_ID: Ihre Projekt-ID.
• GLOSSARY_ID: Ihre Glossar-ID, die Ihr Ressourcenname ist.
• BUCKET_NAME: Der Name des Storage-Buckets, in dem sich Ihre Glossardatei befindet.
• GLOSSARY_FILENAME: Der Name Ihrer Glossardatei im Storage-Bucket.

Nachfolgend finden Sie die Syntax für eine HTTP-Anfrage zum Erstellen eines Glossars:

POST https://ENDPOINT/v3/projects/PROJECT_ID/glossaries

Wählen Sie anhand der von Ihnen erstellten Glossardatei eine der folgenden Optionen aus, um ein Glossar zu erstellen:

curl -X POST \
-H "Authorization: Bearer TOKEN" \
-H "Content-Type: application/json; charset=utf-8" \
-d @request.json \
"https://ENDPOINT/v3/projects/PROJECT_ID/glossaries"

$cred = TOKEN
$headers = @{ "Authorization" = "Bearer $cred" }
Invoke-WebRequest
  -Method POST
  -Headers $headers
  -ContentType: "application/json; charset=utf-8"
  -InFile request.json
  -Uri "https://ENDPOINT/v3/projects/PROJECT_ID/glossaries"
  | Select-Object -Expand Content

{
"name": "projects/PROJECT_ID/operations/operation-id",
"metadata": {
    "@type": "type.googleapis.com/google.cloud.translation.v3.CreateGlossaryMetadata",
    "name": "projects/PROJECT_ID/glossaries/GLOSSARY_ID",
    "state": "RUNNING",
    "submitTime": TIME
  }
}

curl -X POST \
    -H "Authorization: Bearer TOKEN" \
    -H "Content-Type: application/json; charset=utf-8" \
    -d @request.json \
    "https://ENDPOINT/v3/projects/PROJECT_ID/glossaries"

{
  "name": "projects/PROJECT_ID/operations/GLOSSARY_ID,
  "metadata": {
    "@type": "type.googleapis.com/google.cloud.translation.v3.CreateGlossaryMetadata",
    "name": "projects/PROJECT_ID/glossaries/GLOSSARY_ID",
    "state": "RUNNING",
    "submitTime": TIME
  }
}

$cred = TOKEN
$headers = @{ "Authorization" = "Bearer $cred" }

Invoke-WebRequest `
  -Method POST `
  -Headers $headers `
  -ContentType: "application/json; charset=utf-8" `
  -InFile request.json `
  -Uri "https://ENDPOINT/v3/projects/PROJECT_ID/glossaries"
  | Select-Object -Expand Content

{
  "name": "projects/PROJECT_ID/operations/GLOSSARY_ID",
  "metadata": {
    "@type": "type.googleapis.com/google.cloud.translation.v3.CreateGlossaryMetadata",
    "name": "projects/PROJECT_ID/glossaries/GLOSSARY_ID",
    "state": "RUNNING",
    "submitTime": TIME
  }
}

Je nach Größe der Glossardatei dauert das Erstellen eines Glossars in der Regel weniger als 10 Minuten. Sie können den Status dieses Vorgangs abrufen, um festzustellen, wann er abgeschlossen ist.

Glossar abrufen

Die Methode GetGlossary gibt ein gespeichertes Glossar zurück. Wenn das Glossar nicht vorhanden ist, wird der Wert NOT_FOUND zurückgegeben. Geben Sie zum Aufrufen der Methode GetGlossary Ihre Projekt-ID und die Glossar-ID an. Sowohl die Methode CreateGlossary als auch die Methode ListGlossaries geben die Glossar-ID zurück.

Die folgenden Anfragen geben beispielsweise Informationen zu einem bestimmten Glossar in Ihrem Projekt zurück:

curl -X GET \
   -H "Authorization: Bearer TOKEN" \
   "http://ENDPOINT/v3/projects/PROJECT_ID/glossaries/GLOSSARY_ID"

from google.cloud import translate_v3 as translate

def get_glossary(project_id="PROJECT_ID", glossary_id="GLOSSARY_ID"):
    """Get a particular glossary based on the glossary ID."""

client = translate.TranslationServiceClient()

name = client.glossary_path(project_id, glossary_id)

response = client.get_glossary(name=name)
print(u"Glossary name: {}".format(response.name))
print(u"Input URI: {}".format(response.input_config.s3_source.input_uri))

Glossare auflisten

Die Methode ListGlossaries gibt eine Liste von Glossar-IDs in einem Projekt zurück. Wenn kein Glossar vorhanden ist, wird im Ergebnis der Wert NOT_FOUND zurückgegeben. Wenn Sie die Methode ListGlossaries aufrufen möchten, geben Sie Ihre Projekt-ID und den Vertex AI Translation-Endpunkt an.

Die folgende Anfrage gibt beispielsweise eine Liste der Glossar-IDs in Ihrem Projekt zurück:

curl -X GET \
    -H "Authorization: Bearer TOKEN" \
    "http://ENDPOINT/v3/projects/PROJECT_ID/glossaries?page_size=10"

Ersetzen Sie TOKEN durch das Authentifizierungstoken, das Sie erhalten haben.

Glossar löschen

Mit der Methode DeleteGlossary wird ein Glossar gelöscht. Wenn das Glossar nicht vorhanden ist, wird der Wert NOT_FOUND zurückgegeben. Wenn Sie die Methode DeleteGlossary aufrufen möchten, geben Sie Ihre Projekt-ID, Glossar-ID und den Vertex AI Translation-Endpunkt an. Sowohl die Methode CreateGlossary als auch die Methode ListGlossaries geben die Glossar-ID zurück.

Mit der folgenden Anfrage wird beispielsweise ein Glossar aus Ihrem Projekt gelöscht:

curl -X DELETE \
    -H "Authorization: Bearer TOKEN" \
    "http://ENDPOINT/v3/projects/PROJECT_ID/glossaries/GLOSSARY_ID"

Ersetzen Sie TOKEN durch das Authentifizierungstoken, das Sie erhalten haben.