Directrices de uso y de IA responsable de Imagen

Imagen en Vertex AI ofrece a los desarrolladores de aplicaciones las funciones de última generación de IA generativa de Google. Dado que Imagen en Vertex AI es una tecnología en etapa inicial de desarrollo, sus funciones y usos en constante evolución pueden conducir a aplicaciones incorrectas, usos inadecuados y consecuencias no deseadas o imprevistas. Por ejemplo, Imagen en Vertex AI podría generar resultados inesperados, como imágenes ofensivas, poco sensibles o incorrectas en el contexto.

Teniendo en cuenta estos riesgos y complejidades, Imagen en Vertex AI se ha diseñado siguiendo los principios de IA de Google. Sin embargo, es importante que los desarrolladores comprendan y prueben sus modelos para desplegarlos de forma segura y responsable. Para ayudar a los desarrolladores, Imagen en Vertex AI tiene filtros de seguridad integrados que permiten a los clientes bloquear resultados potencialmente dañinos en su caso práctico. Para obtener más información, consulta la sección filtros de seguridad.

Cuando Imagen en Vertex AI se integra en el contexto y el caso de uso únicos de un cliente, es posible que se deban tener en cuenta consideraciones adicionales sobre la IA responsable y limitaciones del modelo. Animamos a los clientes a que sigan las prácticas recomendadas en materia de equidad, interpretabilidad, privacidad y seguridad.

Ver la tarjeta de modelo de Imagen para generación

Ver la tarjeta del modelo Imagen for Editing and Customization

Directrices de uso de Imagen

Lee los siguientes atributos generales del producto y las consideraciones legales antes de usar Imagen en Vertex AI.

• Filtros y resultados de imágenes y texto: las imágenes (generadas o subidas) a través de Imagen en Vertex AI se evalúan con filtros de seguridad. Imagen tiene como objetivo filtrar el contenido (generado o subido) que infrinja nuestra política de uso aceptable o las restricciones adicionales de los productos de IA generativa. Además, nuestros modelos de imágenes generativas están diseñados para generar contenido original y no para replicar contenido que ya exista. Hemos diseñado nuestros sistemas para limitar las posibilidades de que esto ocurra y seguiremos mejorando su funcionamiento. Al igual que todos los proveedores de servicios en la nube, Google mantiene una política de uso aceptable que prohíbe a los clientes usar nuestros servicios de forma que infrinjan los derechos de propiedad intelectual de terceros.
• Umbrales de filtros de seguridad configurables: Google bloquea las respuestas del modelo que superen las puntuaciones de confianza designadas para determinados atributos de seguridad. Para solicitar la posibilidad de modificar un umbral de seguridad, ponte en contacto con elGoogle Cloud equipo de tu cuenta.
• Adición de texto admitida en determinadas versiones del modelo: Imagen no admite la adición de texto a imágenes (subidas o generadas) mediante una petición de texto cuando se usan las versiones del modelo imagegeneration@004 o inferiores.
• Denunciar un posible abuso: puedes denunciar un posible abuso de Imagen en Vertex AI o cualquier resultado generado que contenga material inapropiado o información imprecisa a través del formulario para denunciar un posible abuso Google Cloud .
• Rechazo del Programa de Testers de Confianza: si anteriormente aceptaste que Google usara tus datos para mejorar los servicios de IA/ML previos a la disponibilidad general como parte de los términos del Programa de Testers de Confianza, puedes rechazarlo mediante el formulario de solicitud de rechazo del Programa de Testers de Confianza.

Filtros de seguridad

Las peticiones de texto proporcionadas como entradas y las imágenes (generadas o subidas) a través de Imagen en Vertex AI se evalúan en función de una lista de filtros de seguridad, que incluye "categorías dañinas" (por ejemplo, violence, sexual, derogatory y toxic). Estos filtros de seguridad tienen como objetivo excluir el contenido (generado o subido) que infringe nuestra Política de Uso Aceptable (PUA), la Política de Usos Prohibidos de la IA Generativa o nuestros Principios de la IA.

Si el modelo responde a una solicitud con un mensaje de error como "No se ha podido enviar la petición" o "Podría infringir nuestras políticas", significa que la entrada está activando un filtro de seguridad. Si se devuelven menos imágenes de las solicitadas, significa que se ha bloqueado parte del contenido generado por no cumplir los requisitos de seguridad.

Puedes elegir el nivel de agresividad con el que quieres filtrar el contenido sensible ajustando el parámetro safetySetting.

Atributos de seguridad

Los atributos y los filtros de seguridad no tienen una relación de correspondencia uno a uno. Los atributos de seguridad son el conjunto de atributos que devolvemos al usuario cuando se define includeSafetyAttributes. Los filtros de seguridad son el conjunto de filtros que usamos para filtrar contenido. No filtramos todas las categorías de atributos de seguridad. Por ejemplo, en la categoría de atributos de seguridad "Salud", no filtramos el contenido en función de la puntuación de confianza de salud. Además, no exponemos las puntuaciones de confianza de algunos de nuestros filtros de seguridad sensibles internos.

Configurar filtros de seguridad

Hay varios parámetros de filtrado de seguridad que puedes usar con los modelos de generación de imágenes. Por ejemplo, puedes permitir que el modelo informe sobre los códigos de los filtros de seguridad del contenido bloqueado, inhabilitar la generación de personas o caras, ajustar la sensibilidad del filtrado de contenido o devolver puntuaciones de seguridad redondeadas de una lista de atributos de seguridad de la entrada y la salida. Para obtener más información técnica sobre campos concretos, consulta la referencia de la API del modelo de generación de imágenes.

La respuesta varía en función de los parámetros que definas. Algunos parámetros afectan al contenido generado, mientras que otros afectan al filtrado de contenido y a cómo se te informa sobre el filtrado. Además, el formato de salida depende de si los datos de entrada se filtran o si se filtra la imagen generada.

Parámetros que filtran el contenido

Los siguientes parámetros opcionales afectan al filtrado de contenido o a cómo se te informa sobre el filtrado:

• safetySetting: te permite definir el nivel de agresividad con el que se filtrará el contenido de salida potencialmente sensible.
• includeRaiReason: proporciona información más detallada sobre los resultados filtrados.
• personGeneration: un ajuste que te permite controlar mejor la generación de personas, caras y niños.
• disablePersonFace - Obsoleto. Opción para permitir o no la generación de personas y caras. Los usuarios deben definir personGeneration en su lugar.
• includeSafetyAttributes: te proporciona toda la información sobre los atributos de seguridad del texto de entrada, la imagen de entrada (para editarla) y todas las imágenes generadas. Esta información incluye la categoría de seguridad (por ejemplo, "Firearms & Weapons", "Illicit Drugs" o "Violence") y las puntuaciones de confianza.

Entrada filtrada

Si se filtra el texto o la imagen que has introducido (para editar), recibirás una respuesta con el código de error 400. Una solicitud con una entrada filtrada por RAI devuelve este formato de salida si se define includeRaiReason o includeSafetyAttributes.

El resultado depende de la versión del modelo que utilices. A continuación se muestra la salida cuando la entrada se filtra por diferentes versiones del modelo:

{
  "error": {
    "code": 400,
    "message": "Image generation failed with the following error: The prompt could not be submitted. This prompt contains sensitive words that violate Google's Responsible AI practices. Try rephrasing the prompt. If you think this was an error, send feedback."
    "status": "INVALID_ARGUMENT",
    "details": [
      {
        "@type": "type.googleapis.com/google.rpc.DebugInfo",
        "detail": "[ORIGINAL ERROR] generic::invalid_argument: Image generation failed with the following error: The prompt could not be submitted. This prompt contains sensitive words that violate Google's Responsible AI practices. Try rephrasing the prompt. If you think this was an error, send feedback. [google.rpc.error_details_ext] { message: \"Image editing failed with the following error: The prompt could not be submitted. This prompt contains sensitive words that violate Google's Responsible AI practices. Try rephrasing the prompt. If you think this was an error, send feedback. Support codes: 42876398\" }"
      }
    ]
  }
}

{
  "error": {
    "code": 400,
    "message": "Image generation failed with the following error: The prompt could not be submitted. This prompt contains sensitive words that violate Google's Responsible AI practices. Try rephrasing the prompt. If you think this was an error, send feedback.",
    "status": "INVALID_ARGUMENT",
    "details": [
      {
        "@type": "type.googleapis.com/google.rpc.DebugInfo",
        "detail": "[ORIGINAL ERROR] generic::invalid_argument: Image generation failed with the following error: The prompt could not be submitted. This prompt contains sensitive words that violate Google's Responsible AI practices. Try rephrasing the prompt. If you think this was an error, send feedback. [google.rpc.error_details_ext] { message: \"Image generation failed with the following error: The prompt could not be submitted. This prompt contains sensitive words that violate Google\\'s Responsible AI practices. Try rephrasing the prompt. If you think this was an error, send feedback.\" }"
      }
    ]
  }
}

Salida filtrada

El contenido de la salida filtrada varía en función del parámetro RAI que definas. En los siguientes ejemplos de salida se muestra el resultado de usar los parámetros includeRaiReason y includeSafetyAttributes.

Salida filtrada con includeRaiReason

Si no añades includeRaiReason o no defines includeRaiReason: false, tu respuesta solo incluirá objetos de imagen generados que no se hayan filtrado. Los objetos de imagen filtrados se omiten de la matriz "predictions": []. Por ejemplo, a continuación se muestra una respuesta a una solicitud con "sampleCount": 4, pero dos de las imágenes se han filtrado y, por lo tanto, se han omitido:

{
  "predictions": [
    {
      "bytesBase64Encoded": "/9j/4AAQSkZJRgABA[...]bdsdgD2PLbZQfW96HEFE/9k=",
      "mimeType": "image/png"
    },
    {
      "mimeType": "image/png",
      "bytesBase64Encoded": "/9j/4AAQSkZJRgABA[...]Ct+F+1SLLH/2+SJ4ZLdOvg//Z"
    }
  ],
  "deployedModelId": "MODEL_ID"
}

Si defines includeRaiReason: true y se filtran varias imágenes de salida, tu respuesta incluirá objetos de imagen generados y objetos raiFilteredReason para las imágenes de salida filtradas. Por ejemplo, la siguiente es una respuesta a una solicitud con "sampleCount": 4 y includeRaiReason: true, pero dos de las imágenes se han filtrado. Por lo tanto, un objeto incluye información de la imagen generada y el otro incluye un mensaje de error.

{
  "predictions": [
    {
      "bytesBase64Encoded": "/9j/4AAQSkZJRgABA[...]bdsdgD2PLbZQfW96HEFE/9k=",
      "mimeType": "image/png"
    },
    {
      "mimeType": "image/png",
      "bytesBase64Encoded": "/9j/4AAQSkZJRgABA[...]Ct+F+1SLLH/2+SJ4ZLdOvg//Z"
    },
    {
      "raiFilteredReason": "Your current safety filter threshold filtered out 2 generated images. You will not be charged for blocked images. Try rephrasing the prompt. If you think this was an error, send feedback."
    },
  ],
  "deployedModelId": "MODEL_ID"
}

{
  "predictions": [
    {
      "bytesBase64Encoded": "/9j/4AAQSkZJRgABA[...]bdsdgD2PLbZQfW96HEFE/9k=",
      "mimeType": "image/png"
    },
    {
      "mimeType": "image/png",
      "bytesBase64Encoded": "/9j/4AAQSkZJRgABA[...]Ct+F+1SLLH/2+SJ4ZLdOvg//Z"
    },
    {
      "raiFilteredReason": "56562880"
    },
    {
      "raiFilteredReason": "56562880"
    }
  ],
  "deployedModelId": "MODEL_ID"
}

Salida filtrada con includeSafetyAttributes

Si asignas el valor "includeSafetyAttributes": true, la matriz "predictions": [] de la respuesta incluye las puntuaciones de RAI (redondeadas a un decimal) de los atributos de seguridad del texto de la petición positiva. Los atributos de seguridad de las imágenes también se añaden a cada salida sin filtrar. Si se filtra una imagen de salida, no se devuelven sus atributos de seguridad. Por ejemplo, a continuación se muestra una respuesta a una solicitud sin filtrar, en la que se devuelve una imagen:

{
  "predictions": [
    {
      "bytesBase64Encoded": "/9j/4AAQSkZJRgABA[...]bdsdgD2PLbZQfW96HEFE/9k=",
      "mimeType": "image/png", 
      "safetyAttributes": {
        "categories": [
          "Porn",
          "Violence"
        ],
        "scores": [
          0.1,
          0.2
        ]
      } 
    }, 
    {
      "contentType": "Positive Prompt",
      "safetyAttributes": {
        "categories": [
          "Death, Harm & Tragedy",
          "Firearms & Weapons",
          "Hate",
          "Health",
          "Illicit Drugs",
          "Politics",
          "Porn",
          "Religion & Belief",
          "Toxic",
          "Violence",
          "Vulgarity",
          "War & Conflict"
        ],
        "scores": [
          0,
          0,
          0,
          0,
          0,
          0,
          0.2,
          0,
          0.1,
          0,
          0.1,
          0
        ]
      }
    }, 
  ],
  "deployedModelId": "MODEL_ID"
}

Categorías de códigos de filtros de seguridad

En función de los filtros de seguridad que configures, tu salida puede contener un código de motivo de seguridad similar al siguiente:

    {
      "raiFilteredReason": "ERROR_MESSAGE. Support codes: 56562880""
    }

El código que se indica corresponde a una categoría dañina específica. Estas asignaciones de código a categoría son las siguientes:

Limitaciones

Se aplican los siguientes límites a las diferentes tareas:

Limitaciones de la generación y edición de imágenes

• Amplificación de sesgos: aunque Imagen en Vertex AI puede generar imágenes de alta calidad, es posible que haya sesgos en el contenido generado. Las imágenes generadas se basan en los datos de entrenamiento del producto, que pueden incluir sesgos de forma involuntaria que perpetúen estereotipos o discriminen a determinados grupos. Es necesario monitorizar y evaluar cuidadosamente los resultados para asegurarse de que se ajustan a la Política de Uso Aceptable de Google y a su caso práctico.
• Transparencia e información: puede ser difícil para los usuarios diferenciar entre imágenes generadas por IA y las que no. Cuando utilices imágenes generadas por IA en tu caso práctico, es importante que indiques claramente a los usuarios que las imágenes se han generado mediante un sistema de IA para garantizar la transparencia y mantener la confianza en el proceso. Hemos aplicado el etiquetado de metadatos a las imágenes generadas por IA para ayudar a combatir el riesgo de desinformación y como parte de nuestro enfoque responsable de la IA.
• Contexto insuficiente: Imagen en Vertex AI puede no tener el contexto necesario para generar imágenes adecuadas para todas las situaciones o audiencias de tu caso práctico. Asegúrate de que las imágenes generadas se ajusten al contexto, el propósito y el público objetivo que hayas elegido.
• Información engañosa y autenticidad: editar imágenes con Imagen en Vertex AI puede dar lugar a tergiversaciones o manipulaciones de imágenes, lo que puede llevar a la creación de contenido engañoso o falso. Es importante asegurarse de que el proceso de edición se utiliza de forma responsable, sin poner en riesgo la autenticidad y la veracidad de las imágenes editadas. Hemos aplicado el etiquetado de metadatos a las imágenes editadas con IA para ayudar a combatir el riesgo de desinformación y como parte de nuestro enfoque responsable de la IA.
• Información engañosa y autenticidad: ten cuidado al editar imágenes de adultos o niños, ya que editar imágenes con Imagen en Vertex AI puede dar lugar a información engañosa o a la manipulación de imágenes. Esto puede llevar a la creación de contenido engañoso. Es importante asegurarse de que el proceso de edición se utiliza de forma responsable, sin comprometer la autenticidad y la veracidad de las imágenes editadas. Hemos aplicado etiquetas de metadatos a las imágenes editadas con IA para ayudar a combatir el riesgo de desinformación y como parte de nuestro enfoque responsable de la IA.

Limitaciones de las descripciones visuales

• Precisión y sensibilidad al contexto: la subtitulación visual puede tener dificultades para describir con precisión imágenes complejas o ambiguas. Es posible que las descripciones generadas no siempre reflejen el contexto completo o los matices del contenido visual. Es importante tener en cuenta que los sistemas de subtitulado automático tienen limitaciones a la hora de entender imágenes con distintos niveles de complejidad, por lo que sus descripciones deben usarse con precaución, sobre todo en contextos críticos o sensibles.
• Ambigüedad e interpretaciones subjetivas: las imágenes a menudo se pueden interpretar de varias formas y las descripciones generadas no siempre se ajustan a la comprensión o las expectativas de los humanos. Cada persona puede percibir y describir las imágenes de forma diferente en función de sus experiencias subjetivas y su origen cultural. Es fundamental tener en cuenta la posible ambigüedad y subjetividad de las descripciones de imágenes, así como proporcionar contexto adicional o interpretaciones alternativas cuando sea necesario.
• Consideraciones sobre la accesibilidad: aunque los subtítulos de imágenes automáticos pueden mejorar la accesibilidad al proporcionar descripciones a las personas con discapacidad visual, es importante tener en cuenta que no pueden sustituir por completo al texto alternativo ni a las descripciones generadas por personas y adaptadas a necesidades de accesibilidad específicas. Es posible que los subtítulos automáticos no tengan el nivel de detalle o la comprensión contextual necesarios para determinados casos prácticos de accesibilidad.

Limitaciones de Visual Question Answering (VQA)

• Exceso de confianza e incertidumbre: los modelos de VQA a veces pueden dar respuestas con una confianza injustificada, incluso cuando la respuesta correcta es incierta o ambigua. Es fundamental comunicar la incertidumbre del modelo y proporcionar puntuaciones de confianza adecuadas o respuestas alternativas cuando haya ambigüedad, en lugar de transmitir una falsa sensación de certeza.

Prácticas recomendadas

Para utilizar esta tecnología de forma segura y responsable, también es importante tener en cuenta otros riesgos específicos de tu caso de uso, tus usuarios y tu contexto empresarial, además de las medidas de protección técnicas integradas.

Te recomendamos que sigas estos pasos:

1. Evalúa los riesgos de seguridad de tu aplicación.
2. Considera la posibilidad de hacer ajustes para mitigar los riesgos de seguridad.
3. Realiza pruebas de seguridad adecuadas para tu caso práctico.
4. Solicitar comentarios de los usuarios y monitorizar el contenido.

Recursos adicionales sobre la IA responsable

• Consulta información sobre la IA responsable para modelos de lenguaje extensos (LLMs).
• Consulta más información sobre las recomendaciones de Google para las prácticas de IA responsable.
• Lee la entrada de nuestro blog Una agenda compartida para el progreso de la IA responsable.

Enviar comentarios sobre Imagen en Vertex AI

Si recibes un resultado o una respuesta que no es precisa o que crees que no es segura, puedes comunicárnoslo enviando comentarios. Tus comentarios pueden ayudarnos a mejorar Imagen en Vertex AI y otras iniciativas más amplias de Google en materia de IA.

Puesto que es posible que algunas personas lean tus comentarios, no envíes datos que contengan información personal, confidencial ni sensible.