Generar incrustaciones de texto con la función ML.GENERATE_EMBEDDING

Consola

1. En la Google Cloud consola, ve a la página BigQuery.

   Ir a la página de BigQuery

2. En el panel Explorador, haz clic en el nombre de tu proyecto.

3. Haz clic en more_vert Ver acciones > Crear conjunto de datos.

4. En la página Crear conjunto de datos, haz lo siguiente:

   • En ID del conjunto de datos, escribe un nombre para el conjunto de datos.

   • En Tipo de ubicación, seleccione una ubicación para el conjunto de datos.

   • Haz clic en Crear conjunto de datos.

bq

1. Para crear un conjunto de datos, usa el comando bq mk con la marca --location:

   bq --location=LOCATION mk -d DATASET_ID

   Haz los cambios siguientes:

   • LOCATION: la ubicación del conjunto de datos.
   • DATASET_ID es el ID del conjunto de datos que vas a crear.

2. Confirma que se ha creado el conjunto de datos:

   bq ls

Consola

1. Ve a la página BigQuery.

   Ir a BigQuery

2. En el panel Explorador, haga clic en add Añadir datos:

   

   Se abrirá el cuadro de diálogo Añadir datos.

3. En el panel Filtrar por, en la sección Tipo de fuente de datos, selecciona Aplicaciones empresariales.

   También puede introducir Vertex AI en el campo Buscar fuentes de datos.

4. En la sección Fuentes de datos destacadas, haga clic en Vertex AI.

5. Haz clic en la tarjeta de solución Modelos de Vertex AI: federación de BigQuery.

6. En la lista Tipo de conexión, selecciona Modelos remotos, funciones remotas y BigLake (recurso de Cloud) de Vertex AI.

7. En el campo ID de conexión, introduce un nombre para la conexión.

8. Haga clic en Crear conexión.

9. Haz clic en Ir a la conexión.

10. En el panel Información de conexión, copia el ID de la cuenta de servicio para usarlo en un paso posterior.

bq

1. En un entorno de línea de comandos, crea una conexión:

   bq mk --connection --location=REGION --project_id=PROJECT_ID \
       --connection_type=CLOUD_RESOURCE CONNECTION_ID

   El parámetro --project_id anula el proyecto predeterminado.

   Haz los cambios siguientes:

   • REGION: tu región de conexión
   • PROJECT_ID: tu ID de proyecto Google Cloud
   • CONNECTION_ID: un ID para tu conexión

   Cuando creas un recurso de conexión, BigQuery crea una cuenta de servicio del sistema única y la asocia a la conexión.

   Solución de problemas: si aparece el siguiente error de conexión, actualiza el SDK de Google Cloud:

   Flags parsing error: flag --connection_type=CLOUD_RESOURCE: value should be one of...
   

2. Obtén y copia el ID de la cuenta de servicio para usarlo en un paso posterior:

   bq show --connection PROJECT_ID.REGION.CONNECTION_ID

   El resultado debería ser similar al siguiente:

   name                          properties
   1234.REGION.CONNECTION_ID     {"serviceAccountId": "connection-1234-9u56h9@gcp-sa-bigquery-condel.iam.gserviceaccount.com"}
   

Terraform

Usa el recurso google_bigquery_connection.

Para autenticarte en BigQuery, configura las credenciales predeterminadas de la aplicación. Para obtener más información, consulta Configurar la autenticación para bibliotecas de cliente.

En el siguiente ejemplo se crea una conexión de recursos de Cloud llamada my_cloud_resource_connection en la región US:

# This queries the provider for project information.
data "google_project" "default" {}

# This creates a cloud resource connection in the US region named my_cloud_resource_connection.
# Note: The cloud resource nested object has only one output field - serviceAccountId.
resource "google_bigquery_connection" "default" {
  connection_id = "my_cloud_resource_connection"
  project       = data.google_project.default.project_id
  location      = "US"
  cloud_resource {}
}

Para aplicar la configuración de Terraform en un proyecto, sigue los pasos que se indican en las siguientes secciones. Google Cloud

Preparar Cloud Shell

1. Abre Cloud Shell.

2. Define el Google Cloud proyecto Google Cloud predeterminado en el que quieras aplicar tus configuraciones de Terraform.

   Solo tiene que ejecutar este comando una vez por proyecto y puede hacerlo en cualquier directorio.

   export GOOGLE_CLOUD_PROJECT=PROJECT_ID

   Las variables de entorno se anulan si defines valores explícitos en el archivo de configuración de Terraform.

Preparar el directorio

Cada archivo de configuración de Terraform debe tener su propio directorio (también llamado módulo raíz).

1. En Cloud Shell, crea un directorio y un archivo nuevo en ese directorio. El nombre del archivo debe tener la extensión .tf. Por ejemplo, main.tf. En este tutorial, nos referiremos al archivo como main.tf.

   mkdir DIRECTORY && cd DIRECTORY && touch main.tf

2. Si estás siguiendo un tutorial, puedes copiar el código de ejemplo de cada sección o paso.

   Copia el código de ejemplo en el archivo main.tf que acabas de crear.

   También puedes copiar el código de GitHub. Se recomienda cuando el fragmento de Terraform forma parte de una solución integral.

3. Revisa y modifica los parámetros de ejemplo para aplicarlos a tu entorno.
4. Guarda los cambios.
5. Inicializa Terraform. Solo tienes que hacerlo una vez por directorio.

   terraform init

   Si quieres usar la versión más reciente del proveedor de Google, incluye la opción -upgrade:

   terraform init -upgrade

Aplica los cambios

1. Revisa la configuración y comprueba que los recursos que va a crear o actualizar Terraform se ajustan a tus expectativas:

   terraform plan

   Haga las correcciones necesarias en la configuración.

2. Aplica la configuración de Terraform ejecutando el siguiente comando e introduciendo yes en la petición:

   terraform apply

   Espera hasta que Terraform muestre el mensaje "Apply complete!".

3. Abre tu Google Cloud proyecto para ver los resultados. En la Google Cloud consola, ve a tus recursos en la interfaz de usuario para asegurarte de que Terraform los ha creado o actualizado.

Consola

1. Ve a la página IAM y administración.

   Ir a IAM y administración

2. Haz clic en person_add Conceder acceso.

   Se abrirá el cuadro de diálogo Añadir principales.

3. En el campo Nuevos principales, introduce el ID de la cuenta de servicio que has copiado anteriormente.

4. En el campo Selecciona un rol, elige Vertex AI y, a continuación, Usuario de Vertex AI.

5. Haz clic en Guardar.

gcloud

Usa el comando gcloud projects add-iam-policy-binding:

gcloud projects add-iam-policy-binding 'PROJECT_NUMBER' --member='serviceAccount:MEMBER' --role='roles/aiplatform.user' --condition=None

Haz los cambios siguientes:

• PROJECT_NUMBER: tu número de proyecto
• MEMBER: el ID de la cuenta de servicio que has copiado antes

Texto de Vertex AI

Genera inserciones de texto mediante un modelo remoto a través de un modelo de inserciones de texto de Vertex AI:

SELECT *
FROM ML.GENERATE_EMBEDDING(
  MODEL `PROJECT_ID.DATASET_ID.MODEL_NAME`,
  {TABLE PROJECT_ID.DATASET_ID.TABLE_NAME | (CONTENT_QUERY)},
  STRUCT(FLATTEN_JSON AS flatten_json_output,
    TASK_TYPE AS task_type,
    OUTPUT_DIMENSIONALITY AS output_dimensionality)
);

Haz los cambios siguientes:

• PROJECT_ID: tu ID de proyecto.
• DATASET_ID: el ID del conjunto de datos que contiene el modelo.
• MODEL_NAME: el nombre del modelo remoto sobre un modelo de inserción.
• TABLE_NAME: el nombre de la tabla que contiene el texto que se va a insertar. Esta tabla debe tener una columna llamada content. También puedes usar un alias para usar una columna con otro nombre.
• CONTENT_QUERY: una consulta cuyo resultado contiene una columna STRING llamada content.
• FLATTEN_JSON: un valor BOOL que indica si se debe analizar la inserción en una columna independiente. El valor predeterminado es TRUE.
• TASK_TYPE: un STRING literal que especifica la aplicación de destino para ayudar al modelo a generar inserciones de mejor calidad. TASK_TYPE acepta los siguientes valores:
  • RETRIEVAL_QUERY: especifica que el texto proporcionado es una consulta en un ajuste de búsqueda o recuperación.
  • RETRIEVAL_DOCUMENT: especifica que el texto proporcionado es un documento en un contexto de búsqueda o recuperación.

    Cuando se usa este tipo de tarea, es útil incluir el título del documento en la consulta para mejorar la calidad de la inserción. El título del documento debe estar en una columna con el nombre title o con el alias title. Por ejemplo:

          SELECT *
          FROM
            ML.GENERATE_EMBEDDING(
              MODEL mydataset.embedding_model,
              (SELECT abstract as content, header as title, publication_number
              FROM mydataset.publications),
              STRUCT(TRUE AS flatten_json_output, 'RETRIEVAL_DOCUMENT' as task_type)
          );
          

    Si se especifica la columna de título en la consulta de entrada, se rellena el campo title del cuerpo de la solicitud enviada al modelo. Si especifica un valor de title al usar cualquier otro tipo de tarea, esa entrada se ignora y no tiene ningún efecto en los resultados de la inserción.

  • SEMANTIC_SIMILARITY: especifica que el texto proporcionado se usará para la similitud textual semántica (STS).
  • CLASSIFICATION: especifica que las inserciones se usarán para la clasificación.
  • CLUSTERING: especifica que las inserciones se usarán para la creación de clústeres.
  • QUESTION_ANSWERING: especifica que las inserciones se usarán para responder preguntas.
  • FACT_VERIFICATION: especifica que las inserciones se usarán para verificar hechos.
  • CODE_RETRIEVAL_QUERY: especifica que las inserciones se usarán para recuperar código.
• OUTPUT_DIMENSIONALITY: valor INT64 que especifica el número de dimensiones que se deben usar al generar inserciones. Por ejemplo, si especifica 256 AS output_dimensionality, la columna de salida ml_generate_embedding_result contendrá 256 inserciones por cada valor de entrada.

  En el caso de los modelos remotos de más de gemini-embedding-001 modelos, el valor de OUTPUT_DIMENSIONALITY debe estar en el intervalo [1, 3072]. El valor predeterminado es 3072. En los modelos remotos de text-embedding o text-multilingual-embedding, el valor OUTPUT_DIMENSIONALITY debe estar en el intervalo [1, 768]. El valor predeterminado es 768.

  Si usas un modelo remoto a través de un modelo text-embedding, la versión del modelo text-embedding debe ser text-embedding-004 o una posterior. Si usas un modelo remoto con un modelo text-multilingual-embedding, la versión del modelo text-multilingual-embedding debe ser text-multilingual-embedding-002 o posterior.

Ejemplo: insertar texto en una tabla

En el siguiente ejemplo se muestra una solicitud para insertar la columna content de la tabla text_data:

SELECT *
FROM
  ML.GENERATE_EMBEDDING(
    MODEL `mydataset.embedding_model`,
    TABLE mydataset.text_data,
    STRUCT(TRUE AS flatten_json_output, 'CLASSIFICATION' AS task_type)
  );

Texto abierto

Genera incrustaciones de texto usando un modelo remoto en un modelo de incrustaciones abierto:

SELECT *
FROM ML.GENERATE_EMBEDDING(
  MODEL `PROJECT_ID.DATASET_ID.MODEL_NAME`,
  {TABLE PROJECT_ID.DATASET_ID.TABLE_NAME | (CONTENT_QUERY)},
  STRUCT(FLATTEN_JSON AS flatten_json_output)
);

Haz los cambios siguientes:

• PROJECT_ID: tu ID de proyecto.
• DATASET_ID: el ID del conjunto de datos que contiene el modelo.
• MODEL_NAME: el nombre del modelo remoto sobre un modelo de inserción.
• TABLE_NAME: el nombre de la tabla que contiene el texto que se va a insertar. Esta tabla debe tener una columna llamada content. También puedes usar un alias para usar una columna con otro nombre.
• CONTENT_QUERY: una consulta cuyo resultado contiene una columna STRING llamada content.
• FLATTEN_JSON: un valor BOOL que indica si se debe analizar la inserción en una columna independiente. El valor predeterminado es TRUE.

Vertex AI multimodal

Genera representaciones de texto mediante un modelo remoto a través de un modelo de representación multimodal de Vertex AI:

SELECT *
FROM ML.GENERATE_EMBEDDING(
  MODEL `PROJECT_ID.DATASET_ID.MODEL_NAME`,
  {TABLE PROJECT_ID.DATASET_ID.TABLE_NAME | (CONTENT_QUERY)},
  STRUCT(FLATTEN_JSON AS flatten_json_output，
  OUTPUT_DIMENSIONALITY AS output_dimensionality)
);

Haz los cambios siguientes:

• PROJECT_ID: tu ID de proyecto.
• DATASET_ID: el ID del conjunto de datos que contiene el modelo.
• MODEL_NAME: el nombre del modelo remoto en un modelo multimodalembedding@001.
• TABLE_NAME: el nombre de la tabla que contiene el texto que se va a insertar. Esta tabla debe tener una columna llamada content. También puedes usar un alias para usar una columna con otro nombre.
• CONTENT_QUERY: una consulta cuyo resultado contiene una columna STRING llamada content.
• FLATTEN_JSON: un BOOL que indica si se debe analizar la inserción en una columna independiente. El valor predeterminado es TRUE.
• OUTPUT_DIMENSIONALITY: valor INT64 que especifica el número de dimensiones que se deben usar al generar inserciones. Los valores válidos son 128, 256, 512 y 1408. El valor predeterminado es 1408. Por ejemplo, si especifica 256 AS output_dimensionality, la columna de salida ml_generate_embedding_result contiene 256 inserciones por cada valor de entrada.

Ejemplo: usar las inserciones para clasificar la similitud semántica

En el siguiente ejemplo se inserta una colección de reseñas de películas y se ordenan por distancia de coseno con respecto a la reseña "Esta película era normal" mediante la función VECTOR_SEARCH. Cuanto menor sea la distancia, mayor será la similitud semántica.

Para obtener más información sobre la búsqueda vectorial y el índice vectorial, consulta el artículo Introducción a la búsqueda vectorial.

CREATE TEMPORARY TABLE movie_review_embeddings AS (
  SELECT *
  FROM
    ML.GENERATE_EMBEDDING(
      MODEL `bqml_tutorial.embedding_model`,
      (
        SELECT "This movie was fantastic" AS content
        UNION ALL
        SELECT "This was the best movie I've ever seen!!" AS content
        UNION ALL
        SELECT "This movie was just okay..." AS content
        UNION ALL
        SELECT "This movie was terrible." AS content
      ),
      STRUCT(TRUE AS flatten_json_output)
    )
);

WITH average_review_embedding AS (
  SELECT ml_generate_embedding_result
  FROM
    ML.GENERATE_EMBEDDING(
      MODEL `bqml_tutorial.embedding_model`,
      (SELECT "This movie was average" AS content),
      STRUCT(TRUE AS flatten_json_output)
    )
)
SELECT
  base.content AS content,
  distance AS distance_to_average_review
FROM
  VECTOR_SEARCH(
    TABLE movie_review_embeddings,
    "ml_generate_embedding_result",
    (SELECT ml_generate_embedding_result FROM average_review_embedding),
    distance_type=>"COSINE",
    top_k=>-1
  )
ORDER BY distance_to_average_review;

El resultado es el siguiente:

+------------------------------------------+----------------------------+
| content                                  | distance_to_average_review |
+------------------------------------------+----------------------------+
| This movie was just okay...              | 0.062789813467745592       |
| This movie was fantastic                 |  0.18579561313064263       |
| This movie was terrible.                 |  0.35707466240930985       |
| This was the best movie I've ever seen!! |  0.41844932504542975       |
+------------------------------------------+----------------------------+