Acerca de Vertex AI Feature Store

Vertex AI Feature Store es un servicio de feature store nativo de la nube gestionado que forma parte de Vertex AI. Simplifica la gestión de las funciones de aprendizaje automático y los procesos de publicación online, ya que te permite gestionar los datos de las funciones en una tabla o vista de BigQuery. Después, puede ofrecer las características online directamente desde la fuente de datos de BigQuery.

Vertex AI Feature Store proporciona recursos que te permiten configurar el servicio online especificando tus fuentes de datos de características. A continuación, actúa como una capa de metadatos que interactúa con las fuentes de datos de BigQuery y proporciona los valores de las funciones más recientes directamente desde BigQuery para las predicciones online con baja latencia.

En Vertex AI Feature Store, las tablas o vistas de BigQuery que contienen los datos de las características forman conjuntamente el almacén offline. Puedes mantener los valores de las funciones, incluidos los datos históricos, en el almacén offline. Como todos los datos de las características se conservan en BigQuery, Vertex AI Feature Store no necesita aprovisionar un almacén offline independiente en Vertex AI. Además, si quieres usar los datos de la tienda offline para entrenar modelos de aprendizaje automático, puedes usar las APIs y las funciones de BigQuery para exportar o extraer los datos.

El flujo de trabajo para configurar y empezar a usar el servicio online con Vertex AI Feature Store se puede resumir de la siguiente manera:

  1. Prepara tu fuente de datos en BigQuery.

  2. Opcional: Registra tus fuentes de datos creando grupos de características y características.

  3. Configura la tienda online y los recursos de vista de características para conectar las fuentes de datos de características con los clústeres de servicio online.

  4. Sirve los valores de las funciones más recientes online desde una vista de funciones.

Modelo de datos y recursos de Vertex AI Feature Store

En esta sección se explican los modelos de datos y los recursos asociados a los siguientes aspectos de Vertex AI Feature Store:

Preparación de fuentes de datos en BigQuery

Durante el servicio online, Vertex AI Feature Store usa datos de características de fuentes de datos de BigQuery. Antes de configurar Feature Registry o los recursos de servicio online, debe almacenar los datos de las funciones en una o varias tablas o vistas de BigQuery.

En una tabla o vista de BigQuery, cada columna representa una característica. Cada fila contiene valores de características correspondientes a un ID único. Para obtener más información sobre cómo preparar los datos de las características en BigQuery, consulta Preparar la fuente de datos.

Por ejemplo, en la figura 1, la tabla de BigQuery incluye las siguientes columnas:

  • f1 y f2: columnas de funciones.

  • entity_id: una columna de ID que contenga los IDs únicos para identificar cada registro de función.

  • feature_timestamp: columna de marca de tiempo.

Una vista de características que contiene las características f1 y f2 en formato de serie temporal.
Imagen 1. Ejemplo de una fuente de datos de BigQuery.

Como la fuente de datos se prepara en BigQuery y no en Vertex AI, no es necesario crear ningún recurso de Vertex AI en esta fase.

Configuración de Feature Registry

Una vez que haya preparado sus fuentes de datos en BigQuery, podrá registrarlas, incluidas las columnas de características específicas, en el registro de características.

Registrar tus funciones es opcional. Puedes ofrecer funciones online aunque no añadas tus fuentes de datos de BigQuery al registro de funciones. Sin embargo, registrar tus funciones es ventajoso en los siguientes casos:

  • Sus datos contienen varias instancias del mismo ID de entidad y necesita prepararlos en un formato de serie temporal con una columna de marca de tiempo. Cuando registras tus características, Vertex AI Feature Store busca la marca de tiempo y solo proporciona los valores de características más recientes.

  • Quieres registrar columnas de características específicas de una fuente de datos.

  • Quieres agregar columnas específicas de varias fuentes de datos para definir una instancia de vista de características.

  • Quieres monitorizar las estadísticas de las características y detectar la deriva de las características.

Hay dos tipos de recursos de Vertex AI Feature Store en el registro de funciones:

Recursos de Feature Registry para datos de características

Para registrar sus datos de características en Feature Registry, debe crear los siguientes recursos de Vertex AI Feature Store:

  • Grupo de características (FeatureGroup): un recurso FeatureGroup se asocia a una tabla o vista de origen de BigQuery específica. Representa una agrupación lógica de columnas de características, que se representan mediante recursos Feature. Un grupo de características también contiene una o varias columnas de ID de entidad para identificar los registros de características. Si los datos de las características están en formato de serie temporal, el grupo de características también debe contener una columna de marca de tiempo. Para obtener información sobre cómo crear un grupo de funciones, consulta Crear un grupo de funciones.

  • Función (Feature): un recurso Feature representa una columna específica que contiene valores de funciones de la fuente de datos de funciones asociada a su recurso FeatureGroup principal. Para obtener información sobre cómo crear funciones en un grupo de funciones, consulta Crear una función.

Por ejemplo, en la figura 2 se muestra un grupo de características que incluye las columnas de características f1 y f2, procedentes de una tabla de BigQuery asociada al grupo de características. La fuente de datos de BigQuery contiene cuatro columnas de características. Dos de ellas se agregan para formar el grupo de características. El grupo de funciones también contiene una columna de ID de entidad y una columna de marca de tiempo de la función.

Un grupo de funciones que contiene las funciones f1 y f2 en formato de serie temporal.
Imagen 2. Ejemplo de un FeatureGroup que contiene dos columnas Feature procedentes de una fuente de datos de BigQuery.

Recursos de Feature Registry para la monitorización de características

Los recursos de monitorización de funciones te permiten monitorizar los datos de funciones registrados mediante los recursos FeatureGroup y Feature. Puedes crear los siguientes recursos relacionados con la monitorización de funciones:

  • Monitor de funciones (FeatureMonitor): un recurso FeatureMonitor está asociado a un recurso FeatureGroup y a una o varias funciones de ese grupo de funciones. Especifica la programación de la monitorización. Puedes crear varios recursos de monitorización de funciones para configurar diferentes programaciones de monitorización para el mismo conjunto de funciones de un grupo de funciones. Por ejemplo, si las funciones f1 y f2 se actualizan cada hora, pero las funciones f3 y f4 se actualizan cada día, puedes crear dos recursos de monitor de funciones para monitorizarlas de forma eficiente:

    • Monitor de características fm1 que ejecuta una tarea de monitorización cada hora en las características f1 y f2.

    • Monitor de características fm2 que ejecuta un trabajo de monitorización todos los días en las características f3 y f4.

  • Trabajo de monitorización de funciones (FeatureMonitorJob): un recurso FeatureMonitorJob contiene las estadísticas e información de las funciones que se obtienen cuando se ejecuta un trabajo de monitorización de funciones. También puede contener información sobre anomalías, como la deriva de las funciones, detectadas en los datos de las funciones.

Para obtener más información sobre cómo crear recursos de monitorización de funciones, consulta el artículo Monitorizar funciones para detectar anomalías.

Configuración de la entrega online

Para publicar funciones de predicciones online, debe definir y configurar al menos un clúster de publicación online, y asociarlo a su fuente de datos de funciones o a sus recursos de registro de funciones. En Vertex AI Feature Store, el clúster de servicio online se denomina instancia de almacén online. Una instancia de tienda online puede contener varias instancias de vista de características, donde cada vista de características está asociada a una fuente de datos de características.

Recursos de entrega online

Para configurar el servicio online, debe crear los siguientes recursos de Vertex AI Feature Store:

  • Tienda online (FeatureOnlineStore): un recurso FeatureOnlineStore representa una instancia de clúster de servicio online y contiene la configuración de servicio online, como el número de nodos de servicio online. Una instancia de tienda online no especifica la fuente de los datos de la función, pero contiene FeatureView recursos que especifican las fuentes de datos de la función en BigQuery o en el registro de funciones. Para obtener información sobre cómo crear una instancia de tienda online, consulta Crear una instancia de tienda online.

  • Vista de características (FeatureView): un recurso FeatureView es una colección lógica de características de una instancia de una tienda online. Cuando creas una vista de características, puedes especificar la ubicación de la fuente de datos de características de una de las siguientes formas:

    • Asocia uno o varios grupos de funciones y funciones del registro de funciones. Un grupo de características especifica la ubicación de la fuente de datos de BigQuery. Una característica del grupo de características apunta a una columna de características específica de esa fuente de datos.

    • También puede asociar una tabla o una vista de origen de BigQuery.

    Para obtener información sobre cómo crear instancias de vistas de características en una tienda online, consulta Crear una vista de características.

Por ejemplo, en la figura 3 se muestra una vista de características que incluye las columnas de características f2 y f4, que proceden de dos grupos de características independientes asociados a una tabla de BigQuery.

Una vista de características que contiene las características f2 y f4 procedentes de dos grupos de características.
Imagen 3. Ejemplo de un FeatureView que contiene funciones de dos grupos de funciones independientes.

Entrega online

Vertex AI Feature Store ofrece los siguientes tipos de servicio online para predicciones online en tiempo real:

  • La publicación online de Bigtable es útil para publicar grandes volúmenes de datos (terabytes de datos). Es similar al servicio online de Vertex AI Feature Store (antigua) y ofrece un almacenamiento en caché mejorado. La entrega online de Bigtable no admite inserciones. Si necesitas servir grandes volúmenes de datos que se actualizan con frecuencia y no necesitas servir inserciones, usa el servicio online de Bigtable.

  • La entrega online optimizada te permite entregar online características con latencias ultrabajas. Aunque las latencias de publicación online dependen de la carga de trabajo, la publicación online optimizada puede proporcionar latencias más bajas que la publicación online de Bigtable y se recomienda en la mayoría de los casos. La entrega online optimizada también admite la gestión de las inserciones.

    Para usar la publicación online optimizada, debes configurar un endpoint público o un endpoint de Private Service Connect dedicado.

Para saber cómo configurar el servicio online en Vertex AI Feature Store después de configurar las funciones, consulta Tipos de servicio online.

Servicio sin conexión para predicciones por lotes o entrenamiento de modelos

Como no tienes que copiar ni importar los datos de tus funciones de BigQuery a un almacén offline independiente en Vertex AI, puedes usar las funciones de gestión y exportación de datos de BigQuery para hacer lo siguiente:

Para obtener más información sobre el aprendizaje automático con BigQuery, consulta la introducción a BigQuery ML.

Términos de Vertex AI Feature Store

ingeniería de funciones
  • La ingeniería de funciones es el proceso de transformar datos de aprendizaje automático (ML) sin procesar en funciones que se pueden usar para entrenar modelos de ML o para hacer inferencias.

función
  • En el aprendizaje automático, una característica es una propiedad o un atributo de una instancia o una entidad que se usa como entrada para entrenar un modelo de aprendizaje automático o para hacer inferencias.

valor de la característica
  • El valor de una característica corresponde al valor real y medible de una característica (atributo) de una instancia o entidad. Un conjunto de valores de características de la entidad única representa el registro de características correspondiente a la entidad.

marca de tiempo de la función
  • Una marca de tiempo de una función indica cuándo se generó el conjunto de valores de la función en un registro de función específico de una entidad.

grabar la función
  • Un registro de características es una agregación de todos los valores de las características que describen los atributos de una entidad única en un momento concreto.

Términos relacionados con Feature Registry

registro de funciones
  • Un registro de funciones es una interfaz central para registrar las fuentes de datos de funciones que quieras usar para las inferencias online. Para obtener más información, consulta Configuración de Feature Registry.

grupo de funciones
  • Un grupo de características es un recurso de registro de características que corresponde a una tabla o vista de origen de BigQuery que contiene datos de características. Una vista de características puede contener características y se puede considerar como una agrupación lógica de columnas de características en la fuente de datos.

servicio de funciones
  • El servicio de funciones es el proceso de exportar u obtener valores de funciones para el entrenamiento o la inferencia. En Vertex AI, hay dos tipos de servicios de funciones: online y offline. El servicio online obtiene los valores de las funciones más recientes de un subconjunto de la fuente de datos de funciones para las inferencias online. El servicio offline o por lotes exporta grandes volúmenes de datos de características, incluidos datos históricos, para el procesamiento offline, como el entrenamiento de modelos de aprendizaje automático.

tienda física
  • El almacén sin conexión es un centro de almacenamiento que contiene datos de funciones recientes e históricos, que se suelen usar para entrenar modelos de aprendizaje automático. Un almacén offline también contiene los valores de las funciones más recientes, que puedes usar para las inferencias online.

tienda online
  • En la gestión de funciones, una tienda online es un centro de almacenamiento de los valores de funciones más recientes que se van a usar en las inferencias online.

vista de funciones
  • Una vista de características es una colección lógica de características materializadas de una fuente de datos de BigQuery en una instancia de tienda online. Una vista de características almacena y actualiza periódicamente los datos de características del cliente, que se actualizan periódicamente desde la fuente de BigQuery. Una vista de características se asocia al almacenamiento de datos de características directamente o mediante asociaciones a recursos del registro de características.

Restricciones de ubicación

Todos los recursos de Vertex AI Feature Store deben estar ubicados en la misma región o en la misma ubicación multirregional que tu fuente de datos de BigQuery. Por ejemplo, si la fuente de datos de la función se encuentra en us-central1, debes crear tu instancia de FeatureOnlineStore solo en us-central1 o en la ubicación multirregional US.

Metadatos de la función

Vertex AI Feature Store se integra con Dataplex Universal Catalog para ofrecer funciones de gobernanza de características, incluidos los metadatos de las características. Las instancias de OnlineStore, las vistas de características y los grupos de características se registran automáticamente como recursos de datos en Data Catalog, una función que cataloga los metadatos de estos recursos. Después, puedes usar la función de búsqueda de metadatos de Dataplex Universal Catalog para buscar, ver y gestionar los metadatos de estos recursos. Para obtener más información sobre cómo buscar recursos de Vertex AI Feature Store, consulta Buscar metadatos de recursos en Data Catalog.

Etiquetas de funciones

Puede añadir etiquetas a los recursos durante o después de crearlos. Para obtener más información sobre cómo añadir etiquetas a recursos de Vertex AI Feature Store, consulta Actualizar etiquetas.

Metadatos de la versión del recurso

Vertex AI Feature Store solo admite la versión 0 de las características.

Monitorización de funciones

Vertex AI Feature Store te permite configurar la monitorización de características para obtener estadísticas de características y detectar anomalías en los datos de características. Puedes configurar programaciones de monitorización para ejecutar tareas de monitorización periódicamente o ejecutar una tarea de monitorización manualmente. Para obtener más información sobre cómo configurar la monitorización de funciones y ejecutar trabajos de monitorización de funciones, consulta el artículo Monitorizar funciones para detectar anomalías.

Gestión de incrustaciones y recuperación de vectores

El servicio online optimizado de Vertex AI Feature Store admite la gestión de inserciones. Puedes almacenar las inserciones en BigQuery como matrices double normales. Con las funciones de gestión de incrustaciones de Vertex AI Feature Store, puedes realizar búsquedas de similitud de vectores para obtener las entidades que sean los vecinos más cercanos aproximados de una entidad o un valor de incrustación concretos.

Para usar la gestión de embeddings en Vertex AI Feature Store, debes hacer lo siguiente:

Para obtener información sobre cómo realizar una búsqueda de similitud de vectores en Vertex AI Feature Store, consulta Realizar una búsqueda de vectores de entidades.

Conservación de datos

Vertex AI Feature Store conserva los valores de características más recientes de un ID único, en función de la marca de tiempo asociada a los valores de características de la fuente de datos. No hay límite de conservación de datos en la tienda online.

Como BigQuery aprovisiona el almacén sin conexión, es posible que se apliquen límites de retención de datos o cuotas de BigQuery a la fuente de datos de características, incluidos los valores históricos de las características. Más información sobre las cuotas y los límites de BigQuery

Cuotas y límites

Vertex AI Feature Store aplica cuotas y límites para ayudarte a gestionar los recursos mediante el establecimiento de límites de uso, así como para proteger a la comunidad de usuarios deGoogle Cloud al evitar que se produzcan picos de uso imprevistos. Para usar los recursos de Vertex AI Feature Store de forma eficiente sin alcanzar estas restricciones, consulta las cuotas y los límites de Vertex AI Feature Store.

Precios

Para obtener información sobre los precios del uso de recursos de Vertex AI Feature Store, consulta los precios de Vertex AI Feature Store.

Tutoriales de Notebook

Consulta los siguientes ejemplos y tutoriales para obtener más información sobre Vertex AI Feature Store.

Servicio de funciones online y obtención de datos de BigQuery con el servicio online de Bigtable de Vertex AI Feature Store

En este tutorial, aprenderás a usar el servicio online de Bigtable en Vertex AI Feature Store para servir y obtener online valores de características en BigQuery.

Abrir en Colab  |  Abrir en Colab Enterprise  |  Ver en GitHub

Servicio de características online y obtención de datos de BigQuery con el servicio online optimizado de Vertex AI Feature Store

En este tutorial, aprenderá a usar el servicio online optimizado en Vertex AI Feature Store para servir y obtener valores de características de BigQuery.

Abrir en Colab  |  Abrir en Colab Enterprise  |  Ver en GitHub

Servicio de funciones online y recuperación de vectores de datos de BigQuery con Vertex AI Feature Store

En este tutorial, aprenderás a usar Vertex AI Feature Store para ofrecer y recuperar vectores de valores de características online en BigQuery.

Abrir en Colab  |  Abrir en Colab Enterprise  |  Ver en GitHub

Agentes de servicio de vistas de características de Vertex AI Feature Store

En este tutorial, aprenderá a habilitar agentes de servicio de vistas de funciones y a conceder a cada vista de función acceso a los datos de origen específicos que se utilizan.

Abrir en Colab  |  Abrir en Colab Enterprise  |  Ver en GitHub

Tutorial sobre la fundamentación de LLMs basada en Vertex AI Feature Store

En este tutorial, aprenderás a dividir en fragmentos los datos proporcionados por los usuarios y, a continuación, a generar vectores de inserción para cada fragmento mediante un modelo de lenguaje extenso (LLM) que tenga funciones de generación de inserciones. El conjunto de datos de vectores de incrustaciones resultante se puede cargar en Vertex AI Feature Store, lo que permite obtener funciones rápidamente y ofrecer servicios online de forma eficiente.

Abrir en Colab  |  Abrir en Colab Enterprise  |  Ver en GitHub

Crear una aplicación de RAG de IA generativa con Vertex AI Feature Store y BigQuery

En este tutorial, aprenderás a crear un sistema de búsqueda de vectores de baja latencia para tu aplicación de IA generativa con la búsqueda de vectores de BigQuery y Feature Store de Vertex AI.

Abrir en Colab  |  Abrir en Colab Enterprise  |  Ver en GitHub

Configurar la política de gestión de identidades y accesos en Vertex AI Feature Store

En este tutorial, aprenderás a configurar una política de IAM para controlar el acceso a los recursos y los datos almacenados en Vertex AI Feature Store.

Abrir en Colab  |  Abrir en Colab Enterprise  |  Ver en GitHub

Siguientes pasos