Datenqualität für Medienempfehlungen prüfen

Console

So prüfen Sie die Qualität Ihrer Daten zu Media-Empfehlungen:

1. Rufen Sie in der Google Cloud Console die Seite KI-Anwendungen auf.

   KI-Anwendungen

2. Klicken Sie auf den Namen der App für Media-Empfehlungen, für die Sie die Datenqualität prüfen möchten.

3. Klicken Sie im Navigationsmenü auf Datenqualität und dann auf den Tab Optimierung. Auf dieser Seite wird der Status verschiedener Messwerte für die mit Ihrer App verknüpften Daten angezeigt.

4. Sehen Sie sich oben auf der Seite die Status für Allgemeine Qualität und Anwendungsspezifische Qualität an. Der Zusammenfassungsstatus oben auf der Seite wird als Warnung angezeigt, wenn ein oder mehrere Messwerte den Grenzwert überschritten haben.

   In den beiden Messwerttabellen (Allgemeine Qualität und App-spezifische Qualität) sind die einzelnen Messwerte aufgeführt.

   

5. Klicken Sie in den Messwerttabellen auf Details ansehen, um weitere Informationen zu Messwerten mit dem Status „Warnung“ zu erhalten.

6. Optional: Wenn Sie den Grenzwert für einen konformen Messwert sehen möchten, klicken Sie auf Details ansehen. Schwellenwerte für konforme Messwerte werden nicht in der Messwerttabelle angezeigt.

REST

Verwenden Sie die Methode requirements:checkRequirement, um die Qualität Ihrer Daten zu Media-Empfehlungen zu prüfen.

So prüfen Sie die Qualität über die Befehlszeile:

1. Suchen Sie nach Ihrer Datenspeicher-ID. Wenn Sie die ID Ihres Datenspeichers bereits haben, fahren Sie mit dem nächsten Schritt fort.

   1. Rufen Sie in der Google Cloud Console die Seite KI-Anwendungen auf und klicken Sie im Navigationsmenü auf Datenspeicher.

      Zur Seite „Datenspeicher“

   2. Klicken Sie auf den Namen des Datenspeichers.

   3. Rufen Sie auf der Datenseite Ihres Datenspeichers die Datenspeicher-ID ab.

2. Führen Sie den folgenden curl-Befehl aus, um zu prüfen, ob Ihre Media-Empfehlungen die Grenzwerte für die allgemeinen Messwerte erfüllen:

   curl -X POST \
   -H "Authorization: Bearer $(gcloud auth print-access-token)" \
   -H "Content-Type: application/json" \
   -H "X-GFE-SSL: yes" \
   -H "X-Goog-User-Project: PROJECT_ID" \
   "https://discoveryengine.googleapis.com/v1alpha/projects/PROJECT_ID/locations/global/requirements:checkRequirement" \
   -d '{
         "location": "projects/PROJECT_ID/locations/global",
         "requirementType": "discoveryengine.googleapis.com/media_recs/general/all/warning",
         "resources": [
           {
             "labels": {
               "branch_id": "0",
               "collection_id": "default_collection",
               "datastore_id": "DATA_STORE_ID",
               "location_id": "global",
               "project_number": "PROJECT_ID"
             },
             "type": "discoveryengine.googleapis.com/Branch"
           },
           {
             "labels": {
               "collection_id": "default_collection",
               "datastore_id": "DATA_STORE_ID",
               "location_id": "global",
               "project_number": "PROJECT_ID"
             },
             "type": "discoveryengine.googleapis.com/DataStore"
           }
         ]
       }'
   

   Ersetzen Sie Folgendes:

   • PROJECT_ID: die ID Ihres Google Cloud Projekts.
   • DATA_STORE_ID: Die ID des Vertex AI Search-Datenspeichers.

   Beispielbefehl und -ergebnis

   curl -X POST
   -H "Authorization: Bearer $(gcloud auth print-access-token)"
   -H "Content-Type: application/json"
   -H "X-GFE-SSL: yes"
   -H "X-Goog-User-Project: my-project-123"
   "https://discoveryengine.googleapis.com/v1alpha/projects/my-project-123/locations/global/requirements:checkRequirement"
   -d '{
     "location": "projects/123456/locations/global",
     "requirementType": "discoveryengine.googleapis.com/media_recs/general/all/warning",
     "resources": [
       {
         "labels": {
           "branch_id": "0",
           "collection_id": "default_collection",
           "datastore_id": "my-data-store",
           "location_id": "global",
           "project_number": "123456"
         },
         "type": "discoveryengine.googleapis.com/Branch"
       },
       {
         "labels": {
           "collection_id": "default_collection",
           "datastore_id": "my-data-store",
           "location_id": "global",
           "project_number": "123456"
         },
         "type": "discoveryengine.googleapis.com/DataStore"
       }
     ]
   }'
       
   
   {
   "requirement": {
   "type": "discoveryengine.googleapis.com/media_recs/general/all/warning",
   "displayName": "Warning level requirements for all models and all business objectives.",
   "description": "Requirements for the media recommendations model that will result in performance issue if not met for all media recommendations models and all business objectives.",
   "condition": {
     "expression": "doc_with_same_title_percentage \u003c doc_with_same_title_percentage_threshold && most_common_visitor_id_percentage \u003c most_common_visitor_id_percentage_threshold && short_term_unjoined_events_percentage \u003c short_term_unjoined_events_percentage_threshold && long_term_unjoined_events_percentage \u003c long_term_unjoined_events_percentage_threshold"
   },
   "metricBindings": [
     {
       "variableId": "doc_with_same_title_percentage",
       "resourceType": "discoveryengine.googleapis.com/Branch",
       "metricFilter": "metric.type = 'discoveryengine.googleapis.com/branch/documents/items_with_same_title' AND metric.labels.is_percentage = 'True' AND resource.labels.project_number = '123456' AND resource.labels.branch_id = '0' AND resource.labels.datastore_id = 'my-data-store' AND resource.labels.location_id = 'global' AND resource.labels.collection_id = 'default_collection'",
       "description": "The percentage of the documents with the same title in a branch.",
       "category": "Document"
     },
     {
       "variableId": "most_common_visitor_id_percentage",
       "resourceType": "discoveryengine.googleapis.com/DataStore",
       "metricFilter": "metric.type = 'discoveryengine.googleapis.com/branch/datastore/user_events/most_used_visitor_id_events' AND metric.labels.is_percentage = 'True' AND resource.labels.datastore_id = 'my-data-store' AND resource.labels.project_number = '123456' AND resource.labels.location_id = 'global' AND resource.labels.collection_id = 'default_collection'",
       "description": "The percentage of the events with the same visitor id.",
       "category": "DataStore"
     },
     {
       "variableId": "short_term_unjoined_events_percentage",
       "resourceType": "discoveryengine.googleapis.com/DataStore",
       "metricFilter": "metric.type = 'discoveryengine.googleapis.com/datastore/user_events/unjoined_events_for_document_ids' AND metric.labels.is_percentage = 'True' AND metric.conditions.time_range = 'WEEK' AND resource.labels.datastore_id = 'my-data-store' AND resource.labels.project_number = '123456' AND resource.labels.location_id = 'global' AND resource.labels.collection_id = 'default_collection'",
       "description": "The percentage of events refers to a document id that is not in the catalog in the last 7 days.",
       "category": "DataStore"
     },
     {
       "variableId": "long_term_unjoined_events_percentage",
       "resourceType": "discoveryengine.googleapis.com/DataStore",
       "metricFilter": "metric.type = 'discoveryengine.googleapis.com/datastore/user_events/unjoined_events_for_document_ids' AND metric.labels.is_percentage = 'True' AND metric.conditions.time_range = 'NINETY_DAYS' AND resource.labels.datastore_id = 'my-data-store' AND resource.labels.project_number = '123456' AND resource.labels.location_id = 'global' AND resource.labels.collection_id = 'default_collection'",
       "description": "The percentage of events refers to a document id that is not in the catalog in the last 90 days.",
       "category": "DataStore"
     }
   ],
   "thresholdBindings": [
     {
       "variableId": "doc_with_same_title_percentage_threshold",
       "threshold_values": {
         "severity": "WARNING",
         "value": 1.0
       }
       "description": "The threshold for the percentage of the documents with the same title in a branch."
     },
     {
       "variableId": "most_common_visitor_id_percentage_threshold",
       "threshold_values": {
         "severity": "WARNING",
         "value": 5.0
       }
       "description": "The threshold for the percentage of the events with the same visitor id."
     },
     {
       "variableId": "short_term_unjoined_events_percentage_threshold",
       "threshold_values": {
         "severity": "WARNING",
         "value": 5.0
       }
       "description": "The threshold for the percentage of the events refers to a document id that is not in the catalog in the last 7 days."
     },
     {
       "variableId": "long_term_unjoined_events_percentage_threshold",
       "threshold_values": {
         "severity": "WARNING",
         "value": 2.0
       }
       "description": "The threshold for the percentage of the events refers to a document id that is not in the catalog in the last 90 days"
     }
   ]
   },
   "result": "WARNING",
   "requirementCondition": {
   "expression": "doc_with_same_title_percentage \u003c doc_with_same_title_percentage_threshold && most_common_visitor_id_percentage \u003c most_common_visitor_id_percentage_threshold && short_term_unjoined_events_percentage \u003c short_term_unjoined_events_percentage_threshold && long_term_unjoined_events_percentage \u003c long_term_unjoined_events_percentage_threshold"
   },
   "metricResults": [
   {
     "name": "short_term_unjoined_events_percentage",
     "value": {
       "doubleValue": 0
     },
     "timestamp": "2024-06-06T03:03:13.416900898Z",
     "unit": "%",
     "metricType": "discoveryengine.googleapis.com/datastore/user_events/unjoined_events_for_document_ids"
   },
   {
     "name": "long_term_unjoined_events_percentage",
     "value": {
       "doubleValue": 0
     },
     "timestamp": "2024-06-06T03:03:13.417962744Z",
     "unit": "%",
     "metricType": "discoveryengine.googleapis.com/datastore/user_events/unjoined_events_for_document_ids"
   },
   {
     "name": "most_common_visitor_id_percentage",
     "value": {
       "doubleValue": 0.8
     },
     "timestamp": "2024-06-06T03:03:16.090037135Z",
     "unit": "%",
     "metricType": "discoveryengine.googleapis.com/datastore/user_events/most_used_visitor_id_events"
   },
   {
     "name": "doc_with_same_title_percentage",
     "value": {
       "doubleValue": 30.47
     },
     "timestamp": "2024-06-06T03:03:17.599458357Z",
     "unit": "%",
     "metricType": "discoveryengine.googleapis.com/documents/items_with_same_title"
   }
   ],
   "oldestMetricTimestamp": "2024-06-06T03:03:13.416900898Z"
   }
   

3. Überprüfen Sie die Ausgabe:

   1. Suchen Sie nach dem Wert von result:

      • Wenn der Wert SUCCESS ist, entsprechen Ihre Daten den allgemeinen Anforderungen. Fahren Sie mit Schritt 4 fort.

      • Wenn der Wert WARNING ist, fahren Sie mit Schritt b fort.

      • Wenn Sie result in der Ausgabe nicht sehen, kann das verschiedene Gründe haben:

        • Die PROJECT_ID oder DATA_STORE_ID in der Anfrage ist nicht korrekt.

        • Einige Messwerte sind nicht verfügbar. Versuchen Sie es in sechs Stunden noch einmal oder wenden Sie sich an einen Customer Engineer.

   2. Suchen Sie nach dem Ausdruck (requirement.Condition.Expression): Wenn dieser Ausdruck als „false“ ausgewertet wird, liegt ein Problem mit Ihren Daten vor.

      Die Werte der Messwerte befinden sich im Feld requirementCondition.metricResults.value. Die Werte für den Warnungsschwellenwert befinden sich in den Feldern thresholdBindings.thresholdValues. Mithilfe der Felder description können Sie den Zweck des Messwerts besser nachvollziehen.

      Der Wert von doc_with_same_title_percentage ist beispielsweise 30.47 und der Warnschwellenwert für doc_with_same_title_percentage_threshold ist 1. Es gibt ein Datenproblem, da so viele Titel im Datenspeicher identisch sind. Das muss untersucht werden.

4. Wenn die für Ihre Empfehlungs-App verwendete Kombination aus Modell und Zielvorhaben in dieser Tabelle aufgeführt ist, müssen Sie auch die Methode zum Prüfen der Anforderungen aufrufen, die mit den Werten für Ihr Modell und Zielvorhaben aktualisiert wurde:

   Modell	Ziel	MODEL_OBJ
   Was Ihnen sonst noch gefallen könnte	Conversion-Rate	oyml/cvr
   Empfehlungen für mich	Conversion-Rate	rfy/cvr
   Mehr hierzu	Conversion-Rate	mlt/cvr
   Beliebt	Conversion-Rate	mp/cvr
   Was Ihnen sonst noch gefallen könnte	Beobachtungszeitraum pro Sitzung	oyml/wdps
   Empfehlungen für mich	Beobachtungszeitraum pro Sitzung	rfy/wdps
   Mehr hierzu	Beobachtungszeitraum pro Sitzung	mlt/wdps

   curl -X POST \
   -H "Authorization: Bearer $(gcloud auth print-access-token)" \
   -H "Content-Type: application/json" \
   -H "X-GFE-SSL: yes" \
   -H "X-Goog-User-Project: PROJECT_ID" \
   "https://discoveryengine.googleapis.com/v1alpha/projects/PROJECT_ID/locations/global/requirements:checkRequirement" \
   -d '{
         "location": "projects/PROJECT_ID/locations/global",
         "requirementType": "discoveryengine.googleapis.com/media_recs/MODEL_OBJ/warning",
         "resources": [
           {
             "labels": {
               "branch_id": "0",
               "collection_id": "default_collection",
               "datastore_id": "DATA_STORE_ID",
               "location_id": "global",
               "project_number": "PROJECT_ID"
             },
             "type": "discoveryengine.googleapis.com/Branch"
           },
           {
             "labels": {
               "collection_id": "default_collection",
               "datastore_id": "DATA_STORE_ID",
               "location_id": "global",
               "project_number": "PROJECT_ID"
             },
             "type": "discoveryengine.googleapis.com/DataStore"
           }
         ]
       }'
   

   Ersetzen Sie Folgendes:

   • PROJECT_ID: die ID Ihres Google Cloud Projekts.
   • DATA_STORE_ID: Die ID des Vertex AI Search-Datenspeichers.
   • MODEL_OBJ: In der vorherigen Tabelle finden Sie den richtigen Wert für Ihre Empfehlungs-App.

   Beispielbefehl und -ergebnis

   Dieses Beispiel bezieht sich auf das Modell „Mehr wie dieses“ und das Zielvorhaben „Wiedergabedauer“:

   curl -X POST
   -H "Authorization: Bearer $(gcloud auth print-access-token)"
   -H "Content-Type: application/json"
   -H "X-GFE-SSL: yes"
   -H "X-Goog-User-Project: my-project-123"
   "https://discoveryengine.googleapis.com/v1alpha/projects/my-project-123/locations/global/collections/default_collection/dataStores/my-data-store/branches/0/requirements:checkRequirement"
   -d '{
     "location": "projects/my-project-123/locations/global",
     "requirementType": "discoveryengine.googleapis.com/media_recs/mlt/wdps/warning",
     "resources": [
       {
         "labels": {
           "branch_id": "0",
           "collection_id": "default_collection",
           "datastore_id": "my-data-store",
           "location_id": "global",
           "project_number": "my-project-123"
         },
         "type": "discoveryengine.googleapis.com/Branch"
       },
       {
         "labels": {
           "collection_id": "default_collection",
           "datastore_id": "my-data-store",
           "location_id": "global",
           "project_number": "my-project-123"
         },
         "type": "discoveryengine.googleapis.com/DataStore"
       }
     ]
   }'
       
   
   {
   "requirement": {
   "type": "discoveryengine.googleapis.com/media_recs/mlt/wdps/warning",
   "displayName": "Warning level requirements for 'More Like This' models and 'Watch duration per session' business objectives.",
   "description": "Requirements for the media recommendations model that will result in performance issue if not met for the 'More Like This' model and the 'Watch duration per session' business objective.",
   "condition": {
     "expression": "invalid_sequence_percentage \u003c= invalid_sequence_percentage_threshold"
   },
   "metricBindings": [
     {
       "variableId": "invalid_sequence_percentage",
       "resourceType": "discoveryengine.googleapis.com/DataStore",
       "metricFilter": "metric.type = 'discoveryengine.googleapis.com/datastore/user_events/invalid_sequences_media_play_media_complete' AND metric.labels.is_percentage = 'True'  AND resource.labels.location_id = 'global' AND resource.labels.collection_id = 'default_collection' AND resource.labels.project_number = '123456' AND resource.labels.datastore_id = 'my-data-store'",
       "description": "The percentage of invalid sequences for media play and media complete events sampled by randomly selected visitor ids.",
       "category": "DataStore"
     }
   ],
   "thresholdBindings": [
     {
       "variableId": "invalid_sequence_percentage_threshold",
       "thresholdValues": [
         {
           "severity": "WARNING",
           "value": 50
         }
       ],
       "description": "The threshold for the percentage of invalid sequences sampled among all media play and media complete events."
     }
   ]
   },
   "result": "SUCCESS",
   "requirementCondition": {
   "expression": "invalid_sequence_percentage \u003c= invalid_sequence_percentage_threshold"
   },
   "metricResults": [
   {
     "name": "invalid_sequence_percentage",
     "value": {
       "doubleValue": 0
     },
     "timestamp": "2024-06-06T02:32:00.460056386Z",
     "unit": "%",
     "metricType": "discoveryengine.googleapis.com/datastore/user_events/invalid_sequences_media_play_media_complete"
   }
   ],
   "oldestMetricTimestamp": "2024-06-06T02:32:00.460056386Z"
   }
   

5. Überprüfen Sie die Ausgabe:

   1. Suchen Sie nach dem Wert von result:

      • Wenn der Wert SUCCESS ist, sind Ihre Daten gut genug.

      • Wenn der Wert WARNING ist, fahren Sie mit Schritt b fort.

      • Wenn Sie result in der Ausgabe nicht sehen, kann das verschiedene Gründe haben:

        • Die PROJECT_ID oder DATA_STORE_ID in der Anfrage ist nicht korrekt.

        • Einige Messwerte sind nicht verfügbar. Versuchen Sie es in sechs Stunden noch einmal oder wenden Sie sich an einen Customer Engineer.

   2. Sehen Sie sich den Ausdruck (requirement.Condition.Expression) an. Wenn er als „false“ ausgewertet wird, liegt ein Problem mit Ihren Daten vor.

      Die Werte der Messwerte finden Sie im Feld requirementCondition.metricResults.value und die Werte der Warnschwellen in den Feldern thresholdBindings.thresholdValues. Die Felder description können Ihnen helfen, den Zweck des Messwerts zu verstehen.