IA responsable y lineamientos de uso para Imagen

Imagen on Vertex AI ofrece las funciones de IA generativa de Google de última generación a los desarrolladores de aplicaciones. Como tecnología en etapa inicial, las capacidades y los usos de Imagen on Vertex AI crean un potencial para aplicaciones incorrectas, usos inadecuados y consecuencias no deseadas o imprevistas. Por ejemplo, Imagen on Vertex AI podría generar un resultado que no esperas, como imágenes ofensivas, insensibles o contextuales de forma incorrecta.

Dados estos riesgos y complejidades, Imagen on Vertex AI se diseñó con los principios de IA de Google en mente. Sin embargo, es importante que los desarrolladores comprendan y prueben sus modelos para implementarlos de manera segura y responsable. Para ayudar a los desarrolladores, Imagen on Vertex AI tiene filtros de seguridad integrados que ayudan a los clientes a bloquear los resultados potencialmente dañinos dentro de su caso de uso. Consulta la sección sobre filtros de seguridad para obtener más información.

Cuando Imagen on Vertex AI se integra en el contexto y el caso de uso único de un cliente, es posible que se deban tener en cuenta consideraciones adicionales de IA y limitaciones de modelos. Recomendamos a los clientes que utilicen las prácticas recomendadas de equidad, interpretabilidad, privacidad y seguridad.

Lineamientos del uso de Imagen

Lee los siguientes atributos del producto y las siguientes consideraciones legales generales antes de usar Imagen en Vertex AI.

• Filtros y salidas de imágenes y texto: Las imágenes (generadas o subidas) a través de Imagen en Vertex AI se evalúan en función de los filtros de seguridad. Imagen tiene como objetivo filtrar lo que (generado o subido) infrinja nuestra política de uso aceptable (AUP) o restricciones adicionales de productos de IA generativa. Además, nuestros modelos de imágenes generativas están diseñados para generar contenido original y no replicar el contenido existente. Diseñamos nuestros sistemas para limitar las posibilidades de que esto ocurra y seguiremos mejorando su funcionamiento. Al igual que todos los proveedores de servicios en la nube, Google mantiene una Política de Uso Aceptable que prohíbe a los clientes usar nuestros servicios de manera que infrinjan los derechos de IP de terceros.
• Ahora se admite la generación de personas: Esta función permite la generación de rostros sintéticos y fotorrealistas, pero no admite la generación de celebridades. Ten en cuenta que, en algunos casos, los rostros sintéticos pueden ser similares a algunas personas. En caso de que creas que esta función genera resultados incorrectos, infórmalo mediante el mecanismo de denuncia de abuso que se menciona en Descripción general de la asistencia de IA generativa en Vertex AI.
• Generación de niños: Esta función permite que los usuarios seleccionados como aprobados generen rostros sintéticos fotorrealistas de niños. Para solicitar la capacidad de usar esta función, comunícate con el equipo de cuentas de Google Cloud.
• Umbrales de filtro de seguridad configurables: Google bloquea las respuestas del modelo que exceden los niveles de confianza designadas para ciertos atributos de seguridad. Para solicitar la capacidad de modificar un umbral de seguridad, comunícate con el equipo de cuentas de Google Cloud.
• Adición de texto compatible con ciertas versiones de modelos: Imagen no admite agregar texto a imágenes (subidas o generadas) a través de una instrucción de texto cuando se usa imagegeneration@004 o versiones de modelo anteriores.
• Denunciar sospechas de abuso: Puedes denunciar los presuntos abusos de Imagen en Vertex AI o cualquier resultado generado que contenga material inapropiado o información imprecisa mediante Denunciar sospechas de abuso en Formulario de Google Cloud.
• Inhabilitación del Programa de verificadores de confianza: Si habilitaste previamente la opción de permitir que Google use tus datos para mejorar los servicios de IA y AA de fase previa a la DG como parte de las condiciones del Programa de verificadores de confianza, puedes optar por salir del programa. Usa el formulario de solicitud para inhabilitar el programa de verificadores de confianza.

Filtros de seguridad

Los mensajes de texto proporcionados como imágenes y entradas (generadas o subidas) a través de Imagen on Vertex AI se evalúan en función de una lista de filtros de seguridad, que incluyen “categorías dañinas” (por ejemplo, violence, sexual, derogatory y toxic). El propósito de estos filtros de seguridad es filtrar contenido (generado o subido) que infrinja nuestras Política de Uso Aceptable (AUP), Política de Uso Prohibido de la IA generativa o nuestros Principios de la IA.

Si el modelo responde a una solicitud con un mensaje de error como "No se pudo enviar el mensaje" o "podría infringir nuestras políticas", la entrada activa un filtro de seguridad. Si se muestran menos imágenes de las solicitadas, algunos resultados generados se bloquean por no cumplir con los requisitos de seguridad.

Puedes ajustar el parámetro safetySetting para elegir la agresividad con la que deseas filtrar contenido sensible.

Atributos de seguridad

Los atributos y los filtros de seguridad no tienen una relación de asignación uno a uno. Los atributos de seguridad son el conjunto de atributos que mostramos al usuario cuando se configura includeSafetyAttributes. Los filtros de seguridad son el conjunto de filtros que usamos para filtrar contenido. No filtramos todas las categorías de atributos de seguridad. Por ejemplo, para la categoría del atributo de seguridad "Salud", no filtramos el contenido según la puntuación de confianza del estado. Además, no exponemos las puntuaciones de confianza para algunos de nuestros filtros de seguridad sensibles internos.

Configura filtros de seguridad

Existen varios parámetros de filtrado de seguridad que puedes usar con los modelos de generación de imágenes. Por ejemplo, puedes permitir que el modelo informe códigos de filtro de seguridad para el contenido bloqueado, inhabilitar la generación de personas o rostros, ajustar la sensibilidad del filtro de contenido o mostrar puntuaciones de seguridad redondeadas de la lista de atributos de seguridad para la entrada y salida. Para obtener más información técnica sobre los campos individuales, consulta la referencia de la API del modelo de generación de imágenes.

La respuesta varía según los parámetros que establezcas. Algunos parámetros afectan el contenido producido y otros afectan el filtrado de contenido y la forma en que se te informa el filtrado. Además, el formato de salida depende de si se filtran los datos de entrada o si se filtra el resultado de la imagen generada.

Parámetros que filtran el contenido

Los siguientes parámetros opcionales afectan el filtrado de contenido o la forma en que se te informa sobre el filtrado:

• safetySetting^*: te permite configurar la agresividad con la que se filtra el contenido de salida potencialmente sensible.
• includeRaiReason: proporciona información más detallada sobre el resultado filtrado.
• personGeneration: es una configuración que te permite tener más control sobre la generación de personas, rostros y niños.
• disablePersonFace: obsoleto. Una opción para permitir o no la generación de personas y rostros. En su lugar, los usuarios deben configurar personGeneration.
• includeSafetyAttributes: brinda información completa de los atributos de seguridad para el texto de entrada, la imagen de entrada (para la edición) y todas las imágenes generadas. Esta información incluye la categoría de seguridad (por ejemplo, "Firearms & Weapons", "Illicit Drugs" o "Violence") y las puntuaciones de confianza.

^* Disponible solo para el modelo imagegeneration@006.

Entrada filtrada

Si se filtra la entrada de texto o la imagen de entrada (para editar), obtendrás una respuesta con un código de error 400. Una solicitud con entrada filtrada con RAI muestra este formato de salida si configuras includeRaiReason o includeSafetyAttributes.

El resultado depende de la versión del modelo que uses. A continuación, se muestra el resultado cuando se filtra la entrada para diferentes versiones del modelo:

{
  "error": {
    "code": 400,
    "message": "Image generation failed with the following error: The prompt could not be submitted. This prompt contains sensitive words that violate Google's Responsible AI practices. Try rephrasing the prompt. If you think this was an error, send feedback."
    "status": "INVALID_ARGUMENT",
    "details": [
      {
        "@type": "type.googleapis.com/google.rpc.DebugInfo",
        "detail": "[ORIGINAL ERROR] generic::invalid_argument: Image generation failed with the following error: The prompt could not be submitted. This prompt contains sensitive words that violate Google's Responsible AI practices. Try rephrasing the prompt. If you think this was an error, send feedback. [google.rpc.error_details_ext] { message: \"Image editing failed with the following error: The prompt could not be submitted. This prompt contains sensitive words that violate Google's Responsible AI practices. Try rephrasing the prompt. If you think this was an error, send feedback. Support codes: 42876398\" }"
      }
    ]
  }
}

{
  "error": {
    "code": 400,
    "message": "Image generation failed with the following error: The prompt could not be submitted. This prompt contains sensitive words that violate Google's Responsible AI practices. Try rephrasing the prompt. If you think this was an error, send feedback.",
    "status": "INVALID_ARGUMENT",
    "details": [
      {
        "@type": "type.googleapis.com/google.rpc.DebugInfo",
        "detail": "[ORIGINAL ERROR] generic::invalid_argument: Image generation failed with the following error: The prompt could not be submitted. This prompt contains sensitive words that violate Google's Responsible AI practices. Try rephrasing the prompt. If you think this was an error, send feedback. [google.rpc.error_details_ext] { message: \"Image generation failed with the following error: The prompt could not be submitted. This prompt contains sensitive words that violate Google\\'s Responsible AI practices. Try rephrasing the prompt. If you think this was an error, send feedback.\" }"
      }
    ]
  }
}

Resultado filtrado

El contenido del resultado filtrado varía según el parámetro de RAI que establezcas. En los siguientes ejemplos de salida, se muestra el resultado del uso de los parámetros includeRaiReason y includeSafetyAttributes.

Resultado filtrado con includeRaiReason

Si no agregas includeRaiReason o configuras includeRaiReason: false, tu respuesta solo incluye objetos de imagen generados que no se filtran. Cualquier objeto de imagen filtrado se omite del array "predictions": []. Por ejemplo, la siguiente es una respuesta a una solicitud con "sampleCount": 4, pero dos de las imágenes se filtran y, por lo tanto, se omiten:

{
  "predictions": [
    {
      "bytesBase64Encoded": "/9j/4AAQSkZJRgABA[...]bdsdgD2PLbZQfW96HEFE/9k=",
      "mimeType": "image/png"
    },
    {
      "mimeType": "image/png",
      "bytesBase64Encoded": "/9j/4AAQSkZJRgABA[...]Ct+F+1SLLH/2+SJ4ZLdOvg//Z"
    }
  ],
  "deployedModelId": "MODEL_ID"
}

Si configuras includeRaiReason: true y se filtran varias imágenes de salida, tu respuesta incluye objetos de imagen generados y objetos raiFilteredReason para cualquier imagen de salida filtrada. Por ejemplo, la siguiente es una respuesta a una solicitud con "sampleCount": 4 y includeRaiReason: true, pero dos de las imágenes se filtran: En consecuencia, dos objetos incluyen información de la imagen generada y el otro incluye un mensaje de error.

{
  "predictions": [
    {
      "bytesBase64Encoded": "/9j/4AAQSkZJRgABA[...]bdsdgD2PLbZQfW96HEFE/9k=",
      "mimeType": "image/png"
    },
    {
      "mimeType": "image/png",
      "bytesBase64Encoded": "/9j/4AAQSkZJRgABA[...]Ct+F+1SLLH/2+SJ4ZLdOvg//Z"
    },
    {
      "raiFilteredReason": "Your current safety filter threshold filtered out 2 generated images. You will not be charged for blocked images. Try rephrasing the prompt. If you think this was an error, send feedback."
    },
  ],
  "deployedModelId": "MODEL_ID"
}

{
  "predictions": [
    {
      "bytesBase64Encoded": "/9j/4AAQSkZJRgABA[...]bdsdgD2PLbZQfW96HEFE/9k=",
      "mimeType": "image/png"
    },
    {
      "mimeType": "image/png",
      "bytesBase64Encoded": "/9j/4AAQSkZJRgABA[...]Ct+F+1SLLH/2+SJ4ZLdOvg//Z"
    },
    { 
      "raiFilteredReason": "56562880"
    },
    { 
      "raiFilteredReason": "56562880"
    }
  ],
  "deployedModelId": "MODEL_ID"
}

Resultado filtrado con includeSafetyAttributes

Si configuras "includeSafetyAttributes": true, el array "predictions": [] de respuesta incluye las puntuaciones de RAI (redondeadas a un decimal) de atributos de seguridad de texto para la instrucción positiva. Los atributos de seguridad de las imágenes también se agregan a cada salida sin filtrar. Si se filtra una imagen de salida, no se muestran sus atributos de seguridad. Por ejemplo, la siguiente es una respuesta a una solicitud sin filtro, y se muestra una imagen:

{
  "predictions": [
    {
      "bytesBase64Encoded": "/9j/4AAQSkZJRgABA[...]bdsdgD2PLbZQfW96HEFE/9k=",
      "mimeType": "image/png", 
      "safetyAttributes": {
        "categories": [
          "Porn",
          "Violence"
        ],
        "scores": [
          0.1,
          0.2
        ]
      } 
    }, 
    {
      "contentType": "Positive Prompt",
      "safetyAttributes": {
        "categories": [
          "Death, Harm & Tragedy",
          "Firearms & Weapons",
          "Hate",
          "Health",
          "Illicit Drugs",
          "Politics",
          "Porn",
          "Religion & Belief",
          "Toxic",
          "Violence",
          "Vulgarity",
          "War & Conflict"
        ],
        "scores": [
          0,
          0,
          0,
          0,
          0,
          0,
          0.2,
          0,
          0.1,
          0,
          0.1,
          0
        ]
      }
    }, 
  ],
  "deployedModelId": "MODEL_ID"
}

Categorías de códigos de filtro de seguridad

Según los filtros de seguridad que configures, tu resultado puede contener un código de motivo de seguridad similar al siguiente:

    {
      "raiFilteredReason": "ERROR_MESSAGE. Support codes: 56562880""
    }

El código que se indica corresponde a una categoría dañina específica. Estas asignaciones de código a categorías son las siguientes:

Limitaciones

Los siguientes límites se aplican a diferentes tareas:

Limitaciones de la generación de imágenes

• Amplificación de sesgo: si bien Imagen on Vertex AI puede generar imágenes de alta calidad, pueden existir sesgos potenciales en el contenido generado. Las imágenes generadas se basan en los datos de entrenamiento del producto, que pueden incluir de forma involuntaria sesgos que pueden perpetuar estereotipos o discriminar contra ciertos grupos. La supervisión y la evaluación son necesarias para garantizar que los resultados se alineen con la Política de Uso Aceptable de Google y tu caso de uso.
• Transparencia y divulgación: Puede ser difícil para los usuarios diferenciar entre imágenes generadas por IA e imágenes no generadas por IA. Cuando usas imágenes generadas por IA en tu caso de uso, es importante indicar con claridad a los usuarios que las imágenes generaron un sistema de IA para garantizar la transparencia y mantener la confianza en el proceso. Aplicamos el etiquetado de metadatos a las imágenes generadas por IA para ayudar a combatir el riesgo de información errónea y como parte de nuestro enfoque responsable de la IA.
• Contexto insuficiente: Es posible que Vertex AI no tenga la comprensión contextual necesaria para generar imágenes adecuadas para todas las situaciones o públicos en tu caso de uso. Asegúrate de verificar que las imágenes generadas se alineen con el contexto, el propósito y el público objetivo que elijas.

Limitaciones de edición de imágenes

• Tergiversación y autenticidad: la edición de imágenes con Imagen en Vertex AI puede dar como resultado una tergiversación o manipulación de las imágenes, lo que podría llevar a la creación de contenido engañoso. Es importante asegurarse de que el proceso de edición se use de forma responsable, sin arriesgar la autenticidad y la veracidad de las imágenes editadas. Aplicamos el etiquetado de metadatos a las imágenes editadas por la IA para combatir el riesgo de información errónea y como parte de nuestro enfoque responsable de la IA.

Limitaciones de los subtítulos visuales

• Precisión y sensibilidad del contexto: Los subtítulos visuales pueden encontrar desafíos para describir con precisión imágenes complejas o ambiguas. Es posible que las descripciones generadas no siempre capturen el contexto completo o los matices del contenido visual. Es importante reconocer que los sistemas de subtítulos automatizados tienen limitaciones para comprender imágenes con diferentes niveles de complejidad, y sus descripciones deben usarse con precaución, en especial en contextos críticos o sensibles.
• Ambigüedad e interpretaciones subjetivas: Las imágenes suelen estar abiertas a varias interpretaciones, y es posible que los subtítulos generados no siempre se alineen con la comprensión humana o las expectativas. Las distintas personas pueden percibir y describir las imágenes de forma diferente según sus experiencias subjetivas y contextos culturales. Es fundamental tener en cuenta el potencial de ambigüedad y subjetividad en las descripciones de imágenes y proporcionar contexto adicional o interpretaciones alternativas cuando sea necesario.
• Consideraciones de accesibilidad: Si bien los subtítulos automáticos de imágenes pueden admitir la accesibilidad mediante descripciones para personas con discapacidad visual, es importante reconocer que no pueden reemplazar por completo el texto alternativo generado por humanos ni las descripciones adaptadas a necesidades de accesibilidad específicas. Es posible que los subtítulos automatizados no tengan el nivel de detalle o la comprensión contextual necesarios para ciertos casos de uso de accesibilidad.

Limitaciones de la búsqueda de respuestas visuales (VQA)

• Exceso de confianza e incertidumbre: Los modelos de VQA a veces pueden proporcionar respuestas con confianza no garantizada, incluso cuando la respuesta correcta es incierto o ambigua. Es esencial comunicar la incertidumbre del modelo y proporcionar puntuaciones de confianza adecuadas o respuestas alternativas cuando existe ambigüedad, en lugar de transmitir una falsa sensación de certeza.

Prácticas recomendadas

Para usar esta tecnología de forma segura y responsable, también es importante considerar otros riesgos específicos de tu caso de uso, los usuarios y el contexto empresarial, además de las protecciones técnicas integradas.

Te recomendamos que sigas estos pasos:

1. Evalúa los riesgos de seguridad de tu aplicación.
2. Considera realizar ajustes para mitigar los riesgos de seguridad.
3. Realiza pruebas de seguridad adecuadas según tu caso de uso.
4. Solicita comentarios de los usuarios y supervisa el contenido.

Recursos adicionales de IA responsable

• Obtén información sobre la IA responsable para modelos grandes de lenguaje (LLM).
• Obtén más información sobre las recomendaciones de Google para las prácticas de IA responsable.
• Lee nuestro blog, Un tema compartido para el progreso responsable de la IA

Proporciona una devolución de tarifa en Imagen on Vertex AI

Si recibes un resultado o una respuesta imprecisa o que consideras que no son seguros, puedes enviar comentarios para avisarnos. Tus comentarios pueden ayudar a mejorar Imagen on Vertex AI y los esfuerzos más amplios de Google en IA.

Debido a que los comentarios pueden ser legibles por humanos, no envíes datos que contengan información personal, confidencial o sensible.