Introducción a la gestión de funciones en Vertex AI

En el aprendizaje automático, las características son atributos característicos de una instancia o entidad que puedes usar para entrenar modelos o para hacer predicciones online. Las funciones se generan transformando los datos de aprendizaje automático sin procesar en atributos medibles y compartibles mediante técnicas de ingeniería de funciones, que se denominan transformaciones de funciones.

La gestión de características se refiere al proceso de crear, mantener, compartir y suministrar características de aprendizaje automático almacenadas en una ubicación o repositorio centralizado. La gestión de funciones facilita la reutilización de funciones para entrenar y volver a entrenar modelos, lo que reduce el ciclo de vida de las implementaciones de IA y aprendizaje automático.

Un producto o servicio que incluye servicios de gestión de características para almacenar, descubrir, compartir y publicar características de aprendizaje automático se denomina Feature Store. Vertex AI incorpora los siguientes servicios de Feature Store:

En esta página se presentan y comparan los dos servicios de gestión de funciones y se ofrece una descripción general de sus funciones. También se describe cómo migrar una feature store de Vertex AI Feature Store (antigua) a la nueva Vertex AI Feature Store.

Vertex AI Feature Store

Vertex AI Feature Store ofrece un nuevo enfoque para la gestión de funciones, ya que te permite mantener y servir tus datos de funciones desde una fuente de datos de BigQuery. Con este enfoque, Vertex AI Feature Store actúa como una capa de metadatos que proporciona funciones de servicio online a tu fuente de datos de características en BigQuery y te permite ofrecer características online basadas en esos datos. No es necesario que copies ni importes los datos a un almacén offline independiente en Vertex AI.

Vertex AI Feature Store se integra con Dataplex Universal Catalog para hacer un seguimiento de los metadatos de las características. También admite inserciones y te permite realizar búsquedas de similitud de vectores para encontrar los vecinos más cercanos.

Vertex AI Feature Store está optimizado para ofrecer una latencia ultrabaja y te permite hacer lo siguiente:

  • Almacena y mantén tus datos de características sin conexión en BigQuery, aprovechando las funciones de gestión de datos de BigQuery.

  • Comparte y reutiliza características añadiéndolas al registro de características.

  • Ofrece funciones para predicciones online con latencias bajas mediante la entrega online de Bigtable o con latencias extremadamente bajas mediante la entrega online optimizada.

  • Almacena las incrustaciones en tus datos de características y realiza búsquedas por similitud de vectores con el servicio online optimizado.

  • Hacer un seguimiento de los metadatos de las funciones en Dataplex Universal Catalog.

Para obtener más información sobre Vertex AI Feature Store, consulta la documentación de Vertex AI Feature Store.

Vertex AI Feature Store (antigua)

Vertex AI Feature Store (antigua) proporciona un repositorio centralizado para almacenar, organizar y servir datos de características de aprendizaje automático. Proporciona una jerarquía de recursos que encapsula una tienda online y una tienda física en Vertex AI. La tienda online proporciona los valores de las funciones más recientes para las predicciones online. La tienda offline almacena y mantiene datos de características (incluidos datos históricos) que puedes usar en lote para entrenar modelos de aprendizaje automático.

Vertex AI Feature Store (antigua) es un servicio de gestión de características totalmente funcional que te permite hacer lo siguiente:

  • Importar datos de características por lotes o en streaming en el almacén offline desde una fuente de datos, como un segmento de Cloud Storage o una fuente de BigQuery.

  • Servir funciones online para las predicciones.

  • Servir o exportar características por lotes para entrenar o analizar modelos de aprendizaje automático.

  • Define políticas de gestión de identidades y accesos (IAM) en recursos de EntityType y Featurestore.

  • Gestionar recursos de Feature Store desde la consola Google Cloud .

Vertex AI Feature Store (antigua) no incluye funciones de gestión de incrustaciones ni de recuperación de vectores. Si necesitas gestionar las inserciones de tus datos de características o realizar búsquedas de similitud de vectores, te recomendamos que cambies a Vertex AI Feature Store. Para obtener información sobre cómo migrar a Vertex AI Feature Store, consulta Migrar a Vertex AI Feature Store.

Para obtener más información sobre Vertex AI Feature Store (antigua), consulta la documentación de Vertex AI Feature Store (antigua).

Comparación entre Vertex AI Feature Store y Vertex AI Feature Store (antigua)

En la siguiente tabla se comparan los distintos aspectos de Vertex AI Feature Store (antigua) y la nueva Vertex AI Feature Store:

Categoría Vertex AI Feature Store Vertex AI Feature Store (antigua)
Modelos de datos
Jerarquía de recursos (tienda online y física) La jerarquía de recursos de la tienda online es la siguiente: FeatureOnlineStore -> FeatureView
  • FeatureOnlineStore solo contiene los parámetros de configuración para el almacenamiento y la recuperación online. Puede contener varios recursos FeatureView.
  • FeatureView es una agrupación lógica de funciones en una solicitud de servicio online. Es un único recurso que sustituye a los tipos de entidad y a las funciones. Los datos de una vista de características reflejan los valores de características más recientes del almacenamiento de BigQuery.
No hay recursos de almacén sin conexión, ya que los datos residen en BigQuery. 		La jerarquía de recursos es la siguiente: Featurestore -> EntityType -> Feature
  • Featurestore contiene los parámetros de configuración de las tiendas online y offline. Puede contener varios recursos EntityType.
  • EntityType es un conjunto de funciones relacionadas semánticamente. Puede tener varias instancias llamadas entidades, que pueden contener varios recursos Feature.
  • Feature es una propiedad o un atributo de un EntityType.
Jerarquía de recursos (registro de funciones) La jerarquía de recursos del registro de funciones es la siguiente: FeatureGroup -> Feature
  • FeatureGroup registra la ubicación de la fuente de datos de BigQuery. Puede contener varios recursos Feature.
  • Feature corresponde a una columna de la fuente de datos registrada en el grupo de funciones.
 No existe ningún registro de características en Vertex AI Feature Store (antigua).
Gestión de funciones
Tiendas online y físicas Debes crear una instancia de tienda online y definir vistas de funciones.
Vertex AI Feature Store no requiere un almacén offline independiente, ya que la fuente de datos de BigQuery constituye el almacén offline. 		Cuando aprovisionas un almacén de características, Vertex AI Feature Store (antigua) crea almacenes online y offline independientes.
Importación de características No es necesario importar datos a tiendas sin conexión, ya que los datos se encuentran en BigQuery y puede usarlos directamente para sus necesidades sin conexión. En los casos prácticos de servicio online, puedes registrar una tabla o una vista de BigQuery como vista de características, lo que copia los datos de las características en el almacén online. Vertex AI Feature Store actualiza los datos del almacén online durante la sincronización de datos. Para ello, debes importar datos de características a tiendas offline y online mediante la importación por lotes o por streaming desde una fuente externa, como una tabla o una vista de BigQuery.
Movimiento de datos entre tiendas online y físicas Vertex AI Feature Store usa BigQuery como almacén offline y solo copia los valores de las características más recientes en el almacén online. No hay ninguna tienda offline independiente aprovisionada en Vertex AI. Los valores de las características se copian en el almacenamiento offline y, posteriormente, en el almacenamiento online.
Servicio de funciones
Entrega sin conexión Para interactuar con el almacén sin conexión, debes usar las APIs de BigQuery. Las funciones subyacentes son las mismas. Para interactuar con el almacén offline, que gestiona Vertex AI Feature Store (antigua), debes usar las APIs de Vertex AI. Algunos ejemplos de estas interacciones son las búsquedas en un momento concreto y la exportación de funciones.
Entrega online

Vertex AI Feature Store ofrece dos tipos de servicios online:

  • El servicio online de Bigtable es similar al de Vertex AI Feature Store (antigua), pero ofrece un almacenamiento en caché mejorado para mitigar los puntos de acceso. Es útil para grandes volúmenes de datos (terabytes de datos).
  • La publicación online optimizada es adecuada para las necesidades de publicación de latencia extremadamente baja.

Cada solicitud de lectura online obtiene todas las funciones predefinidas de una vista de función sin procesamiento adicional, lo que reduce la latencia.

 Vertex AI Feature Store (antigua) solo ofrece un tipo de servicio online. Puede especificar las entidades y las funciones para obtener los datos de las funciones.
Interfaces y APIs
Funciones de la consolaGoogle Cloud Usa la Google Cloud consola para crear y gestionar recursos, como instancias de tiendas online, instancias de vistas de características, grupos de características y características. También puede ver la lista de tiendas online e información sobre el linaje de las funciones. Usa la Google Cloud consola para llevar a cabo la mayoría de las tareas de gestión de funciones, incluida la monitorización de la creación de recursos.
APIs de creación de recursos Incluye APIs para crear recursos FeatureOnlineStore, FeatureView, FeatureGroup y Feature. Estos recursos te permiten configurar tu registro de funciones y tu tienda online. En el caso del almacén sin conexión, se usa BigQuery. Incluye APIs para crear recursos Featurestore, EntityType y Feature que se usan en las tiendas online y offline.
APIs de importación por lotes (tienda física) No requiere APIs para importar por lotes a la tienda física, ya que no es necesario realizar este paso por separado. Usa las APIs de Vertex AI para importar por lotes a la tienda offline.
APIs de importación por lotes (tienda online) Copia periódicamente los datos de BigQuery en la tienda online durante la sincronización de datos. Usa las APIs de Vertex AI para importar por lotes al almacén online.
APIs de importación de streaming (tienda offline) No requiere APIs para importar datos de streaming a la tienda física, ya que no es necesario realizar un paso de importación de datos de streaming a la tienda física por separado. Usa Vertex AI para importar en streaming a la tienda offline.
APIs de importación de streaming (tienda online) No se admite la importación de streaming. Usa las APIs de Vertex AI para importar datos en streaming al almacén online.
APIs de servicio por lotes Usa las APIs de BigQuery para servir por lotes los datos directamente de las fuentes de datos de BigQuery definidas en las vistas de características. Usa las APIs de Vertex AI para servir datos de características por lotes.
APIs de servicio online Utiliza FetchFeatureValues(FetchFeatureValuesRequest) API. Usa la API ReadFeatureValues(ReadFeatureValuesRequest) para el servicio online.

Migrar a Vertex AI Feature Store

Los recursos y los datos de características de Vertex AI Feature Store (antigua) no están disponibles en Vertex AI Feature Store. Si ya usas Vertex AI Feature Store (antigua) y quieres migrar tu proyecto a Vertex AI Feature Store, sigue estos pasos. Ten en cuenta que, como la jerarquía de recursos de Vertex AI Feature Store es diferente de la de Vertex AI Feature Store (antigua), tendrás que crear los recursos manualmente después de migrar los datos de las características.

  1. Si los datos de sus funciones aún no están disponibles en BigQuery, expórtelos a BigQuery y cree tablas y vistas de BigQuery. Sigue las directrices de preparación de datos al exportar y preparar los datos. Por ejemplo:

    • Cada función se corresponde con una columna. Los IDs de entidad pueden ser una columna independiente, que puede identificar como la columna ID.

    • Vertex AI Feature Store no tiene los recursos EntityType y Entity. Proporciona los valores de la función de cada entidad en la fila correspondiente al ID de la entidad.

  2. Opcional: Registra tu fuente de datos de características añadiendo grupos de características y características. Para obtener más información, consulta Crear un grupo de funciones y Crear una función.

  3. Configura el servicio online creando instancias de Feature Store y Feature View basadas en los datos de las funciones.

Siguientes pasos