Importation en flux continu

L'importation par flux vous permet de mettre à jour les valeurs des caractéristiques en temps réel. Cette méthode est utile lorsque la disponibilité des dernières données pour la livraison en ligne est importante. Par exemple, vous pouvez importer des données d'événements par flux et, en quelques secondes, Vertex AI Feature Store (ancien) les rend disponibles pour des scénarios de livraison en ligne.

Si vous devez remplir des données ou calculer des valeurs de caractéristiques par lots, utilisez l'importation par lots. Les requêtes d'importation par lots peuvent gérer des charges utiles plus volumineuses que les requêtes d'importation par flux. En revanche, leur traitement prend plus de temps.

Pour en savoir plus sur le code temporel de valeur de caractéristique le plus ancien que vous pouvez importer, consultez Vertex AI Feature Store (ancien) de la page Quotas et limites. Vous ne pouvez pas importer de valeurs de caractéristiques pour lesquelles le code temporel correspond à une date ou une heure futures.

Exemple d'utilisation

Une entreprise de vente en ligne peut offrir une expérience d'achat personnalisée en utilisant l'activité en cours des utilisateurs. Lorsque les utilisateurs parcourent le site Web, vous pouvez capturer leur activité dans un magasin de caractéristiques, puis livrer rapidement ces informations pour les prédictions en ligne. Cette importation et cette livraison en temps réel peuvent vous aider à présenter des recommandations utiles et pertinentes aux clients au cours de leur session d'achat.

Utilisation des nœuds de stockage en ligne

L'écriture de valeurs de caractéristiques dans un magasin en ligne utilise les ressources CPU du magasin de caractéristiques (nœuds de stockage en ligne). Surveillez votre utilisation du CPU pour vérifier que la demande ne dépasse pas l'offre, car cela peut entraîner des erreurs de livraison. Pour les éviter, nous vous recommandons de rester à un taux d'utilisation d'environ 70 % ou moins. Si vous dépassez régulièrement cette valeur, vous pouvez mettre à jour votre magasin de caractéristiques pour augmenter le nombre de nœuds ou utiliser l'autoscaling. Pour plus d'informations, consultez Gérer les magasins de caractéristiques.

Importation par flux

Écrivez une valeur dans une caractéristique spécifique. La valeur de la caractéristique doit être incluse dans la requête d'importation. Vous ne pouvez pas diffuser de données directement à partir d'une source de données.

Si vous écrivez sur des caractéristiques récemment créées, attendez quelques minutes pour vous assurer qu'elles ont bien été propagées. Sans cela, une erreur resource not found risque de s'afficher.

Vous ne pouvez importer des valeurs de caractéristiques que pour une entité par écriture. Pour un projet et une région spécifiques, vous pouvez écrire simultanément des valeurs de caractéristiques pour plusieurs entités dans un maximum de 10 types d'entités différents. Cette limite inclut les requêtes d'importation par flux envoyées à tous les magasins de caractéristiques d'un projet et d'une région donnés. Si vous dépassez cette limite, il est possible que Vertex AI Feature Store (ancien) n'écrive pas toutes vos données dans le magasin hors connexion. Dans ce cas, Vertex AI Feature Store (ancien) consigne l'erreur dans l'explorateur de journaux. Pour plus d'informations, consultez Surveiller les erreurs d'écriture de stockage hors connexion pour l'importation par flux.

POST https://LOCATION-aiplatform.googleapis.com/v1/projects/PROJECT/locations/LOCATION/featurestores/FEATURESTORE_ID/entityTypes/ENTITY_TYPE_ID:writeFeatureValues

{
  "payloads": [
    {
      "entityId": "ENTITY_ID",
      "featureValues": {
        "FEATURE_ID": {
          "VALUE_TYPE": VALUE,
          "metadata": {"generate_time": "TIME_STAMP"}
        }
      }
    }
  ]
}

curl -X POST \
     -H "Authorization: Bearer $(gcloud auth print-access-token)" \
     -H "Content-Type: application/json; charset=utf-8" \
     -d @request.json \
     "https://LOCATION-aiplatform.googleapis.com/v1/projects/PROJECT/locations/LOCATION/featurestores/FEATURESTORE_ID/entityTypes/ENTITY_TYPE_ID:writeFeatureValues"

$cred = gcloud auth print-access-token
$headers = @{ "Authorization" = "Bearer $cred" }

Invoke-WebRequest `
    -Method POST `
    -Headers $headers `
    -ContentType: "application/json; charset=utf-8" `
    -InFile request.json `
    -Uri "https://LOCATION-aiplatform.googleapis.com/v1/projects/PROJECT/locations/LOCATION/featurestores/FEATURESTORE_ID/entityTypes/ENTITY_TYPE_ID:writeFeatureValues" | Select-Object -Expand Content

from google.cloud import aiplatform


def write_feature_values_sample(
    project: str, location: str, entity_type_id: str, featurestore_id: str
):

    aiplatform.init(project=project, location=location)

    my_entity_type = aiplatform.featurestore.EntityType(
        entity_type_name=entity_type_id, featurestore_id=featurestore_id
    )

    my_data = {
        "movie_01": {
            "title": "The Shawshank Redemption",
            "average_rating": 4.7,
            "genre": "Drama",
        },
    }

    my_entity_type.write_feature_values(instances=my_data)

Étapes suivantes

• Découvrez comment surveiller les erreurs d'écriture dans le stockage hors connexion pour l'importation par flux.
• Découvrez comment livrer des caractéristiques via la livraison en ligne ou par lots.
• Résolvez les problèmes courants liés à Vertex AI Feature Store (ancien).