Os embeddings são representações numéricas de textos, imagens ou vídeos que capturam as relações entre as entradas. Os modelos de machine learning, especialmente os de IA generativa, são adequados para criar embeddings identificando padrões em grandes conjuntos de dados. Os aplicativos podem usar embeddings para processar e produzir linguagem, reconhecendo significados complexos e relações semânticas específicas do seu conteúdo.
A Vertex AI no Google Distributed Cloud (GDC) com isolamento físico oferece suporte a APIs Text Embedding para entrada textual em inglês e multilíngue. O embedding de texto funciona convertendo texto em matrizes de números de ponto flutuante, chamadas de vetores. Esses vetores são projetados para capturar o significado do texto. O comprimento da matriz de embedding é chamado de dimensionalidade do vetor. Por exemplo, uma passagem de texto pode ser representada por um vetor com centenas de dimensões. Em seguida, ao calcular a distância numérica entre as representações vetoriais de duas partes de texto, um aplicativo pode determinar a semelhança entre os objetos.
Para uma lista de modelos compatíveis, consulte Modelos de embeddings.
Para uma lista de idiomas multilíngues compatíveis, consulte Idiomas compatíveis com embedding de texto.
Casos de uso de embeddings de texto
Alguns casos de uso comuns para incorporações de texto incluem:
- Pesquisa semântica: texto de pesquisa classificado por semelhança semântica.
- Classificação: retorna a classe de itens com atributos semelhantes ao texto fornecido.
- Clustering: itens de cluster com atributos de texto semelhantes ao texto fornecido.
- Detecção de outlier: retorna itens em que os atributos de texto estão menos relacionados ao texto fornecido.
- Interface de conversa: agrupa grupos de frases que podem levar a respostas semelhantes, como em um espaço de incorporação no nível da conversa.
Exemplo de caso de uso: desenvolver um chatbot de recomendação de livros
Se você quiser desenvolver um chatbot de recomendação de livros, a primeira coisa a fazer é usar uma rede neural profunda (DNN) para converter cada livro em um vetor de embedding, em que um vetor de embedding representa um livro. É possível alimentar o título do livro ou o conteúdo de texto como entrada para a DNN. Ou podemos usar ambos juntos, junto com outros metadados que descrevem o livro, como o gênero.
As incorporações neste exemplo podem incluir milhares de títulos de livros com resumos e gêneros. Ele pode ter representações de livros como O Morro dos Ventos Uivantes, de Emily Brontë, e Persuasão, de Jane Austen, que são semelhantes entre si (pequena distância entre a representação numérica). Já a representação numérica do livro O Grande Gatsby, de F. Scott Fitzgerald seria mais distante, porque o período, o gênero e o resumo são menos semelhantes.
As entradas são a principal influência na orientação do espaço de embedding. Por exemplo, se tivéssemos apenas entradas de título de livro, dois livros com títulos semelhantes, mas resumos muito diferentes, poderiam estar próximos. No entanto, se incluirmos o título e o resumo, esses mesmos livros serão menos semelhantes (mais distantes) no espaço de embedding.
Trabalhando com a IA generativa, esse bot de sugestão de livros pode resumir, sugerir e mostrar livros de que você pode gostar (ou não gostar), com base na sua consulta.
A seguir
- Saiba como usar embeddings de texto.