Obtener datos de entrenamiento

Para obtener datos de características para entrenar modelos, usa el servicio por lotes. Si necesita exportar valores de funciones para archivarlos o hacer análisis puntuales, exporte valores de funciones.

Obtener valores de características para entrenar un modelo

Para entrenar un modelo, necesitas un conjunto de datos de entrenamiento que contenga ejemplos de tu tarea de predicción. Estos ejemplos constan de instancias que incluyen sus características y etiquetas. La instancia es el elemento sobre el que quieres hacer una predicción. Por ejemplo, una instancia puede ser una casa y quieres determinar su valor de mercado. Entre sus características se pueden incluir la ubicación, la antigüedad y el precio medio de las casas cercanas que se han vendido recientemente. Una etiqueta es una respuesta a la tarea de predicción, como el precio final de venta de la casa, que fue de 100.000 USD.

Como cada etiqueta es una observación en un momento concreto, debe obtener los valores de las características que corresponden a ese momento en el que se hizo la observación. Por ejemplo, los precios de las casas cercanas cuando se vendió una casa en concreto. A medida que se recogen etiquetas y valores de características a lo largo del tiempo, esos valores de características cambian. Vertex AI Feature Store (antigua) puede realizar una búsqueda en un momento concreto para que puedas obtener los valores de las características en un momento determinado.

Ejemplo de consulta a un momento dado

En el siguiente ejemplo se obtienen los valores de las características de dos instancias de entrenamiento con las etiquetas L1 y L2. Las dos etiquetas se observan en T1 y T2, respectivamente. Imagina que congelas el estado de los valores de las funciones en esas marcas de tiempo. Por lo tanto, para la consulta en un momento dado en T1, Vertex AI Feature Store (antigua) devuelve los valores de características más recientes hasta la hora T1 de Feature 1, Feature 2 y Feature 3, y no revela ningún valor posterior a T1. A medida que pasa el tiempo, los valores de las características cambian y la etiqueta también. Por lo tanto, en T2, Feature Store devuelve valores de características diferentes para ese momento.

Entradas de servicio por lotes

Como parte de una solicitud de servicio en lote, se requiere la siguiente información:

• Lista de funciones para las que se van a obtener valores.
• Una lista de instancias de lectura que contiene información de cada ejemplo de entrenamiento. Enumera las observaciones en un momento concreto. Puede ser un archivo CSV o una tabla de BigQuery. La lista debe incluir la siguiente información:
  • Marcas de tiempo: las horas a las que se observaron o midieron las etiquetas. Las marcas de tiempo son necesarias para que Vertex AI Feature Store (antigua) pueda realizar una búsqueda en un momento concreto.
  • IDs de entidad: uno o varios IDs de las entidades que corresponden a la etiqueta.
• El URI de destino y el formato en los que se escribe el resultado. En la salida, Vertex AI Feature Store (antigua) combina la tabla de la lista de instancias de lectura y los valores de las características del almacén de características. Especifique uno de los siguientes formatos y ubicaciones para la salida:
  • Tabla de BigQuery en un conjunto de datos regional o multirregional.
  • Archivo CSV en un segmento de Cloud Storage regional o multirregional. Sin embargo, si los valores de las características incluyen matrices, debe elegir otro formato.
  • Archivo TFRecord en un segmento de Cloud Storage.

Requisitos de la región

Tanto para las instancias de lectura como para el destino, el conjunto de datos o el segmento de origen deben estar en la misma región o en la misma ubicación multirregional que tu almacén de características. Por ejemplo, un almacén de características de us-central1 solo puede leer datos de o proporcionar datos a los conjuntos de datos de BigQuery o los cubos de Cloud Storage que se encuentren en us-central1 o en la ubicación multirregional de EE. UU. No puedes usar datos de us-east1, por ejemplo. Además, no se admite la lectura ni el servicio de datos mediante contenedores de doble región.

Lista de lectura de instancias

La lista de instancias de lectura especifica las entidades y las marcas de tiempo de los valores de las características que quiere recuperar. El archivo CSV o la tabla de BigQuery deben contener las siguientes columnas, en cualquier orden. Cada columna debe tener un encabezado.

• Debe incluir una columna de marca de tiempo, donde el nombre del encabezado sea timestamp y los valores de la columna sean marcas de tiempo en formato RFC 3339.
• Debe incluir una o varias columnas de tipo de entidad, donde el encabezado sea el ID del tipo de entidad y los valores de la columna sean los IDs de la entidad.
• Opcional: Puede incluir valores de transferencia (columnas adicionales) que se transfieren tal cual a la salida. Esto resulta útil si tienes datos que no están en Vertex AI Feature Store (antigua), pero quieres incluirlos en la salida.

Ejemplo (CSV)

Imagina una feature store que contenga los tipos de entidad users y movies, así como sus características. Por ejemplo, las funciones de users podrían incluir age y gender, mientras que las de movies podrían incluir ratings y genre.

En este ejemplo, quieres recoger datos de entrenamiento sobre las preferencias de los usuarios en cuanto a películas. Obtienes los valores de las funciones de las dos entidades de usuario alice y bob, así como las funciones de las películas que han visto. En otro conjunto de datos, sabes que alice ha visto movie_01 y le ha gustado. bob ha visto movie_02 y no le ha gustado. Por lo tanto, la lista de instancias de lectura podría tener el siguiente aspecto:

users,movies,timestamp,liked
"alice","movie_01",2021-04-15T08:28:14Z,true
"bob","movie_02",2021-04-15T08:28:14Z,false

Vertex AI Feature Store (antigua) obtiene los valores de las características de las entidades indicadas en el momento o antes de las marcas de tiempo proporcionadas. Las funciones específicas que quieres obtener se especifican como parte de la solicitud de publicación por lotes, no en la lista de instancias de lectura.

Este ejemplo también incluye una columna llamada liked, que indica si a un usuario le ha gustado una película. Esta columna no se incluye en el almacén de características, pero puede seguir transfiriendo estos valores a la salida de su servicio por lotes. En la salida, estos valores de transferencia se combinan con los valores del almacén de características.

valores nulos

Si, en una marca de tiempo determinada, el valor de una característica es nulo, Vertex AI Feature Store (antigua) devuelve el valor de la característica anterior que no sea nulo. Si no hay valores anteriores, Vertex AI Feature Store (antigua) devuelve null.

Servir valores de funciones por lotes

Sirve por lotes los valores de las funciones de un almacén de funciones para obtener datos, tal como se determina en el archivo de lista de instancias de lectura.

Si quieres reducir los costes de uso del almacenamiento sin conexión leyendo los datos de entrenamiento recientes y excluyendo los antiguos, especifica una hora de inicio. Para saber cómo reducir el coste del uso del almacenamiento sin conexión especificando una hora de inicio, consulta Especificar una hora de inicio para optimizar los costes del almacenamiento sin conexión durante el servicio y la exportación por lotes.

POST https://LOCATION_ID-aiplatform.googleapis.com/v1/projects/PROJECT_ID/locations/LOCATION_ID/featurestores/FEATURESTORE_ID:batchReadFeatureValues

{
  "destination": {
    "bigqueryDestination": {
      "outputUri": "bq://PROJECT_ID.DATASET_NAME.TABLE_NAME"
    }
  },
  "csvReadInstances": {
    "gcsSource": {
      "uris": ["STORAGE_LOCATION"]
    }
  },
  "entityTypeSpecs": [
    {
      "entityTypeId": "users",
      "featureSelector": {
        "idMatcher": {
          "ids": ["age", "liked_genres"]
        }
      }
    },
    {
      "entityTypeId": "movies",
      "featureSelector": {
        "idMatcher": {
          "ids": ["title", "average_rating", "genres"]
        }
      }
    }
  ],
  "passThroughFields": [
    {
      "fieldName": "liked"
    }
  ]
}

curl -X POST \
     -H "Authorization: Bearer $(gcloud auth print-access-token)" \
     -H "Content-Type: application/json; charset=utf-8" \
     -d @request.json \
     "https://LOCATION_ID-aiplatform.googleapis.com/v1/projects/PROJECT_ID/locations/LOCATION_ID/featurestores/FEATURESTORE_ID:batchReadFeatureValues"

$cred = gcloud auth print-access-token
$headers = @{ "Authorization" = "Bearer $cred" }

Invoke-WebRequest `
    -Method POST `
    -Headers $headers `
    -ContentType: "application/json; charset=utf-8" `
    -InFile request.json `
    -Uri "https://LOCATION_ID-aiplatform.googleapis.com/v1/projects/PROJECT_ID/locations/LOCATION_ID/featurestores/FEATURESTORE_ID:batchReadFeatureValues" | Select-Object -Expand Content

{
  "name": "projects/PROJECT_NUMBER/locations/LOCATION_ID/featurestores/FEATURESTORE_ID/operations/OPERATION_ID",
  "metadata": {
    "@type": "type.googleapis.com/google.cloud.aiplatform.v1.BatchReadFeatureValuesOperationMetadata",
    "genericMetadata": {
      "createTime": "2021-03-02T00:03:41.558337Z",
      "updateTime": "2021-03-02T00:03:41.558337Z"
    }
  }
}

from google.cloud import aiplatform


def batch_serve_features_to_bq_sample(
    project: str,
    location: str,
    featurestore_name: str,
    bq_destination_output_uri: str,
    read_instances_uri: str,
    sync: bool = True,
):

    aiplatform.init(project=project, location=location)

    fs = aiplatform.featurestore.Featurestore(featurestore_name=featurestore_name)

    SERVING_FEATURE_IDS = {
        "users": ["age", "gender", "liked_genres"],
        "movies": ["title", "average_rating", "genres"],
    }

    fs.batch_serve_to_bq(
        bq_destination_output_uri=bq_destination_output_uri,
        serving_feature_ids=SERVING_FEATURE_IDS,
        read_instances_uri=read_instances_uri,
        sync=sync,
    )

Ver tareas de servicio por lotes

Usa la Google Cloud consola para ver las tareas de servicio por lotes de unGoogle Cloud proyecto.

Siguientes pasos

• Consulta cómo ingestar valores de características por lotes.
• Consulta cómo servir funciones mediante servicios online.
• Consulta la cuota de trabajos por lotes simultáneos de Vertex AI Feature Store (antigua).
• Soluciona problemas habituales de Vertex AI Feature Store (antigua).