Se usó la API de Cloud Translation para traducir esta página.

Usa la transferencia de datos con el motor de RAG de Vertex AI

En esta página, se explica cómo transferir datos con una fuente de datos compatible, como Cloud Storage, Google Drive, Slack, Jira o SharePoint, y cómo usar esos datos con el motor de RAG de Vertex AI. La API de Import RagFiles proporciona conectores de datos a estas fuentes de datos.

Fuentes de datos compatibles con la RAG

Se admiten las siguientes fuentes de datos:

Sube un archivo local: Es una carga de un solo archivo con upload_file (hasta 25 MB), que es una llamada síncrona.
Cloud Storage: Importa archivos desde Cloud Storage.
Google Drive: Importa un directorio desde Google Drive.

Se deben otorgar los permisos correctos a la cuenta de servicio para importar archivos. De lo contrario, no se importarán archivos ni se mostrará ningún mensaje de error. Para obtener más información sobre los límites de tamaño de los archivos, consulta Tipos de documentos admitidos.

Para autenticar y conceder permisos, haz lo siguiente:
1. Ve a la página IAM de tu proyecto deGoogle Cloud .
2. Selecciona Incluir asignación de rol proporcionada por Google.
3. Busca la cuenta de servicio del agente de servicio de datos de Vertex AI RAG.
4. Haz clic en compartir en la carpeta de la unidad, y compartir con la cuenta de servicio.
5. Otorga permiso Viewer a la cuenta de servicio en tu carpeta o archivo de Google Drive. El ID del recurso de Google Drive se encuentra en la URL web.
Slack: Importa archivos de Slack con un conector de datos.
Jira: Importa archivos de Jira con un conector de datos.

Para obtener más información, consulta la referencia de la API de RAG.

Anulación de duplicación de datos

Si se importa el mismo archivo varias veces sin realizar cambios, se omite, ya que ya existe. Por lo tanto, response.skipped_rag_files_count se refiere a la cantidad de archivos que se omitieron durante el proceso de importación.

Se omite un archivo cuando se cumplen las siguientes condiciones:

Se importó el archivo.
El archivo no cambió.
La configuración de fragmentación del archivo no cambió.

Comprende las fallas de importación

Para comprender los errores de importación, en esta sección, se explican los metadatos en una respuesta a una solicitud de importación y un destino de datos, que es el destino de los datos que importas.

Metadatos de la respuesta

Puedes usar response.metadata (un objeto de respuesta en el SDK) para ver los resultados de la importación, el tiempo de solicitud y el tiempo de respuesta.

Importar receptor de resultados

En el SDK, import_result_sink es un parámetro de función opcional que se puede setear en un valor de cadena válido.

Si se proporciona import_result_sink, los resultados de archivos correctos y fallidos se escriben en el sink. Tener todos los resultados escritos en el sumidero facilita la comprensión de por qué es posible que algunos archivos no se importen y cuáles no se importaron.

import_result_sink debe ser una ruta de Cloud Storage o una tabla de BigQuery.

Si import_result_sink es una ruta de acceso de Cloud Storage, debe usar el formato de gs://my-bucket/my/object.ndjson, y el objeto no debe existir. Una vez que se completa el trabajo de importación, cada línea del objeto de Cloud Storage contiene un objeto JSON, que tiene un ID de operación, una marca de tiempo de creación, un nombre de archivo, un estado y un ID de archivo.
Si import_result_sink es una tabla de BigQuery, debe usar el formato de bq://my-project.my-dataset.my-table. La tabla no tiene que existir. Si no existe, se crea. Si la tabla sí existe, se verifica el esquema. La primera vez que se proporcione el destino de resultados de importación de BigQuery, proporcionarás una tabla que no existe. De lo contrario, puedes volver a usar la tabla existente.

Importa archivos desde Cloud Storage o Google Drive

Para importar archivos de Cloud Storage o Google Drive a tu corpus, haz lo siguiente:

Para crear un corpus, sigue las instrucciones que se indican en Cómo crear un corpus de RAG.
Para importar tus archivos desde Cloud Storage o Google Drive, usa la plantilla.

El sistema verifica automáticamente la ruta de acceso, el nombre del archivo y el version_id. El version_id es un hash de archivo que se calcula con el contenido del archivo, lo que evita que se vuelva a indexar.

Si un archivo con el mismo nombre y ruta de acceso tiene una actualización de contenido, se vuelve a indexar.

Importa archivos desde Slack

Para importar archivos de Slack a tu corpus, haz lo siguiente:

Crea un corpus, que es un índice que estructura y optimiza tus datos para la búsqueda. Sigue las instrucciones en Cómo crear un corpus de RAG.
Obtén tu CHANNEL_ID del ID del canal de Slack.
Crea y configura una app para usarla con Vertex AI RAG Engine.
1. En la IU de Slack, en la sección Add features and functionality, haz clic en Permissions.
2. Agrega los siguientes permisos:
  - channels:history
  - groups:history
  - im:history
  - mpim:history
3. Haz clic en Instalar en el lugar de trabajo para instalar la app en tu lugar de trabajo de Slack.
Haz clic en Copiar para obtener tu token de API, que autentica tu identidad y te otorga acceso a una API.
Agrega tu token de API a Secret Manager.
Para ver el secreto almacenado, otorga el rol de descriptor de acceso a secretos de Secret Manager a la cuenta de servicio de RAG Engine de Vertex AI de tu proyecto.

En los siguientes ejemplos de código de curl y Python, se muestra cómo importar archivos desde tus recursos de Slack.

curl

Si quieres recibir mensajes de un canal específico, cambia el CHANNEL_ID.

API_KEY_SECRET_VERSION=SLACK_API_KEY_SECRET_VERSION
CHANNEL_ID=SLACK_CHANNEL_ID
PROJECT_ID=us-central1

curl -X POST \
-H "Authorization: Bearer $(gcloud auth print-access-token)" \
-H "Content-Type: application/json" \
https://${ ENDPOINT }/v1beta1/projects/${ PROJECT_ID }/locations/${ PROJECT_ID }/ragCorpora/${ RAG_CORPUS_ID }/ragFiles:import \
-d '{
  "import_rag_files_config": {
    "slack_source": {
      "channels": [
        {
          "apiKeyConfig": {
            "apiKeySecretVersion": "'"${ API_KEY_SECRET_VERSION }"'"
          },
          "channels": [
            {
              "channel_id": "'"${ CHANNEL_ID }"'"
            }
          ]
        }
      ]
    }
  }
}'

Python

Si deseas recibir mensajes de un período determinado o de un canal específico, cambia cualquiera de los siguientes campos:

START_TIME
END_TIME
CHANNEL1 o CHANNEL2

    # Slack example
    start_time = protobuf.timestamp_pb2.Timestamp()
    start_time.GetCurrentTime()
    end_time = protobuf.timestamp_pb2.Timestamp()
    end_time.GetCurrentTime()
    source = rag.SlackChannelsSource(
        channels = [
            SlackChannel("CHANNEL1", "api_key1"),
            SlackChannel("CHANNEL2", "api_key2", START_TIME, END_TIME)
        ],
    )

    response = rag.import_files(
        corpus_name="projects/my-project/locations/us-central1/ragCorpora/my-corpus-1",
        source=source,
        chunk_size=512,
        chunk_overlap=100,
    )

Importa archivos desde Jira

Para importar archivos de Jira a tu corpus, haz lo siguiente:

Crea un corpus, que es un índice que estructura y optimiza tus datos para la búsqueda. Sigue las instrucciones en Cómo crear un corpus de RAG.
Para crear un token de API, accede al sitio de Atlassian.
Usa {YOUR_ORG_ID}.atlassian.net como el SERVER_URI en la solicitud.
Usa tu correo electrónico de Atlassian como EMAIL en la solicitud.
Proporciona projects o customQueries con tu solicitud. Para obtener más información sobre las consultas personalizadas, consulta Cómo usar la búsqueda avanzada con el lenguaje de consulta de Jira (JQL).
Cuando importas projects, projects se expande en las consultas correspondientes para obtener todo el proyecto. Por ejemplo, MyProject se expande a project = MyProject.
Haz clic en Copiar para obtener tu token de API, que autentica tu identidad y te otorga acceso a una API.
Agrega tu token de API a Secret Manager.
Otorga el rol de Descriptor de acceso a secretos de Secret Manager a la cuenta de servicio de Vertex AI RAG Engine de tu proyecto.

curl

EMAIL=JIRA_EMAIL
API_KEY_SECRET_VERSION=JIRA_API_KEY_SECRET_VERSION
SERVER_URI=JIRA_SERVER_URI
CUSTOM_QUERY=JIRA_CUSTOM_QUERY
PROJECT_ID=JIRA_PROJECT
REGION= "us-central1"

curl -X POST \
-H "Authorization: Bearer $(gcloud auth print-access-token)" \
-H "Content-Type: application/json" \
https://${ ENDPOINT }/v1beta1/projects/${ PROJECT_ID }/locations/REGION>/ragCorpora/${ RAG_CORPUS_ID }/ragFiles:import \
-d '{
  "import_rag_files_config": {
    "jiraSource": {
      "jiraQueries": [{
        "projects": ["'"${ PROJECT_ID }"'"],
        "customQueries": ["'"${ CUSTOM_QUERY }"'"],
        "email": "'"${ EMAIL }"'",
        "serverUri": "'"${ SERVER_URI }"'",
        "apiKeyConfig": {
          "apiKeySecretVersion": "'"${ API_KEY_SECRET_VERSION }"'"
        }
      }]
    }
  }
}'

Python

    # Jira Example
    jira_query = rag.JiraQuery(
        email="xxx@yyy.com",
        jira_projects=["project1", "project2"],
        custom_queries=["query1", "query2"],
        api_key="api_key",
        server_uri="server.atlassian.net"
    )
    source = rag.JiraSource(
        queries=[jira_query],
    )

    response = rag.import_files(
        corpus_name="projects/my-project/locations/REGION/ragCorpora/my-corpus-1",
        source=source,
        chunk_size=512,
        chunk_overlap=100,
    )

Importa archivos desde SharePoint

Para importar archivos de tu sitio de SharePoint a tu corpus, haz lo siguiente:

Crea un corpus, que es un índice que estructura y optimiza tus datos para la búsqueda. Sigue las instrucciones en Cómo crear un corpus de RAG.
Crea una app de Azure para acceder a tu sitio de SharePoint.
1. Para crear un registro, ve a Registros de apps.
  1. Proporciona un nombre para la aplicación.
  2. Elige la opción Cuentas solo en este directorio de la organización.
  3. Verifica que los URIs de redireccionamiento estén vacíos.
2. En la sección Descripción general, usa tu ID de aplicación (cliente) como CLIENT_ID y tu "ID de directorio (usuario) como TENANT_ID.
3. En la sección Administrar, sigue estos pasos para actualizar los permisos de la API:
  1. Agrega el permiso Sites.Read.All de SharePoint.
  2. Agrega los permisos Files.Read.All y Browser SiteLists.Read.All de Microsoft Graph.
  3. Otorga el consentimiento del administrador para que se apliquen estos cambios de permisos.
4. En la sección Administrar, haz lo siguiente:
  1. Actualiza Certificados y secretos con un nuevo secreto del cliente.
  2. Usa API_KEY_SECRET_VERSION para agregar el valor secreto a Secret Manager.
Otorga el rol de Descriptor de acceso a secretos de Secret Manager a la cuenta de servicio de Vertex AI RAG Engine de tu proyecto.
Usa {YOUR_ORG_ID}.sharepoint.com como el SHAREPOINT_SITE_NAME.
En la solicitud, se debe especificar un nombre o ID de unidad en el sitio de SharePoint.
Opcional: Se puede especificar una ruta de acceso o un ID de carpeta en la unidad. Si no se especifica la ruta de acceso ni el ID de la carpeta, se importarán todas las carpetas y los archivos de la unidad.

curl

CLIENT_ID=SHAREPOINT_CLIENT_ID
API_KEY_SECRET_VERSION=SHAREPOINT_API_KEY_SECRET_VERSION
TENANT_ID=SHAREPOINT_TENANT_ID
SITE_NAME=SHAREPOINT_SITE_NAME
FOLDER_PATH=SHAREPOINT_FOLDER_PATH
DRIVE_NAME=SHAREPOINT_DRIVE_NAME

curl -X POST \
-H "Authorization: Bearer $(gcloud auth print-access-token)" \
-H "Content-Type: application/json" \
https://${ ENDPOINT }/v1beta1/projects/${ PROJECT_ID }/locations/REGION>/ragCorpora/${ RAG_CORPUS_ID }/ragFiles:import \
-d '{
  "import_rag_files_config": {
    "sharePointSources": {
      "sharePointSource": [{
        "clientId": "'"${ CLIENT_ID }"'",
        "apiKeyConfig": {
          "apiKeySecretVersion": "'"${ API_KEY_SECRET_VERSION }"'"
        },
        "tenantId": "'"${ TENANT_ID }"'",
        "sharepointSiteName": "'"${ SITE_NAME }"'",
        "sharepointFolderPath": "'"${ FOLDER_PATH }"'",
        "driveName": "'"${ DRIVE_NAME }"'"
      }]
    }
  }
}'

Python

    from vertexai.preview import rag
    from vertexai.preview.rag.utils import resources

    CLIENT_ID="SHAREPOINT_CLIENT_ID"
    API_KEY_SECRET_VERSION="SHAREPOINT_API_KEY_SECRET_VERSION"
    TENANT_ID="SHAREPOINT_TENANT_ID"
    SITE_NAME="SHAREPOINT_SITE_NAME"
    FOLDER_PATH="SHAREPOINT_FOLDER_PATH"
    DRIVE_NAME="SHAREPOINT_DRIVE_NAME"

    # SharePoint Example.
    source = resources.SharePointSources(
        share_point_sources=[
            resources.SharePointSource(
                client_id=CLIENT_ID,
                client_secret=API_KEY_SECRET_VERSION,
                tenant_id=TENANT_ID,
                sharepoint_site_name=SITE_NAME,
                folder_path=FOLDER_PATH,
                drive_id=DRIVE_ID,
            )
        ]
    )

    response = rag.import_files(
        corpus_name="projects/my-project/locations/REGION/ragCorpora/my-corpus-1",
        source=source,
        chunk_size=512,
        chunk_overlap=100,
    )

¿Qué sigue?

Opciones de bases de datos vectoriales en el motor de RAG de Vertex AI

Usa la transferencia de datos con el motor de RAG de Vertex AI Organiza tus páginas con colecciones Guarda y categoriza el contenido según tus preferencias.

Fuentes de datos compatibles con la RAG

Anulación de duplicación de datos

Comprende las fallas de importación

Metadatos de la respuesta

Importar receptor de resultados

Importa archivos desde Cloud Storage o Google Drive

Importa archivos desde Slack

curl

Python

Importa archivos desde Jira

curl

Python

Importa archivos desde SharePoint

curl

Python

¿Qué sigue?

Usa la transferencia de datos con el motor de RAG de Vertex AI