Realizar uma pesquisa de vetor

Inserir dados de produtos e inventário e realizar uma pesquisa de vetor básica

1. Execute a seguinte instrução para criar uma tabela product que faz o seguinte:

   • Armazena informações básicas do produto.
   • Inclui uma coluna de vetor embedding que calcula e armazena um vetor de incorporação para uma descrição de cada produto.

     CREATE TABLE product (
       id INT PRIMARY KEY,
       name VARCHAR(255) NOT NULL,
       description TEXT,
       category VARCHAR(255),
       color VARCHAR(255),
       embedding vector(768) GENERATED ALWAYS AS (embedding('text-embedding-005', description)) STORED
     );
   

   Se necessário, use o Explorador de registros para visualizar registros e resolver erros.

2. Execute a consulta a seguir para criar uma tabela product_inventory que armazena informações sobre o inventário disponível e os preços correspondentes. As tabelas product_inventory e product são usadas neste tutorial para executar consultas complexas de pesquisa de vetor.

   CREATE TABLE product_inventory (
     id INT PRIMARY KEY,
     product_id INT REFERENCES product(id),
     inventory INT,
     price DECIMAL(10,2)
   );
   

3. Execute a consulta a seguir para inserir dados de produtos na tabela product:

   INSERT INTO product (id, name, description,category, color) VALUES
   (1, 'Stuffed Elephant', 'Soft plush elephant with floppy ears.', 'Plush Toys', 'Gray'),
   (2, 'Remote Control Airplane', 'Easy-to-fly remote control airplane.', 'Vehicles', 'Red'),
   (3, 'Wooden Train Set', 'Classic wooden train set with tracks and trains.', 'Vehicles', 'Multicolor'),
   (4, 'Kids Tool Set', 'Toy tool set with realistic tools.', 'Pretend Play', 'Multicolor'),
   (5, 'Play Food Set', 'Set of realistic play food items.', 'Pretend Play', 'Multicolor'),
   (6, 'Magnetic Tiles', 'Set of colorful magnetic tiles for building.', 'Construction Toys', 'Multicolor'),
   (7, 'Kids Microscope', 'Microscope for kids with different magnification levels.', 'Educational Toys', 'White'),
   (8, 'Telescope for Kids', 'Telescope designed for kids to explore the night sky.', 'Educational Toys', 'Blue'),
   (9, 'Coding Robot', 'Robot that teaches kids basic coding concepts.', 'Educational Toys', 'White'),
   (10, 'Kids Camera', 'Durable camera for kids to take pictures and videos.', 'Electronics', 'Pink'),
   (11, 'Walkie Talkies', 'Set of walkie talkies for kids to communicate.', 'Electronics', 'Blue'),
   (12, 'Karaoke Machine', 'Karaoke machine with built-in microphone and speaker.', 'Electronics', 'Black'),
   (13, 'Kids Drum Set', 'Drum set designed for kids with adjustable height.', 'Musical Instruments', 'Blue'),
   (14, 'Kids Guitar', 'Acoustic guitar for kids with nylon strings.', 'Musical Instruments', 'Brown'),
   (15, 'Kids Keyboard', 'Electronic keyboard with different instrument sounds.', 'Musical Instruments', 'Black'),
   (16, 'Art Easel', 'Double-sided art easel with chalkboard and whiteboard.', 'Arts & Crafts', 'White'),
   (17, 'Finger Paints', 'Set of non-toxic finger paints for kids.', 'Arts & Crafts', 'Multicolor'),
   (18, 'Modeling Clay', 'Set of colorful modeling clay.', 'Arts & Crafts', 'Multicolor'),
   (19, 'Watercolor Paint Set', 'Watercolor paint set with brushes and palette.', 'Arts & Crafts', 'Multicolor'),
   (20, 'Beading Kit', 'Kit for making bracelets and necklaces with beads.', 'Arts & Crafts', 'Multicolor'),
   (21, '3D Puzzle', '3D puzzle of a famous landmark.', 'Puzzles', 'Multicolor'),
   (22, 'Race Car Track Set', 'Race car track set with cars and accessories.', 'Vehicles', 'Multicolor'),
   (23, 'RC Monster Truck', 'Remote control monster truck with oversized tires.', 'Vehicles', 'Green'),
   (24, 'Train Track Expansion Set', 'Expansion set for wooden train tracks.', 'Vehicles', 'Multicolor');
   

4. Opcional: execute a consulta a seguir para verificar se os dados foram inseridos na tabela product:

   SELECT * FROM product;
   

5. Execute a consulta a seguir para inserir dados de inventário na tabela product_inventory:

   INSERT INTO product_inventory (id, product_id, inventory, price) VALUES
   (1, 1, 9, 13.09),
   (2, 2, 40, 79.82),
   (3, 3, 34, 52.49),
   (4, 4, 9, 12.03),
   (5, 5, 36, 71.29),
   (6, 6, 10, 51.49),
   (7, 7, 7, 37.35),
   (8, 8, 6, 10.87),
   (9, 9, 7, 42.47),
   (10, 10, 3, 24.35),
   (11, 11, 4, 10.20),
   (12, 12, 47, 74.57),
   (13, 13, 5, 28.54),
   (14, 14, 11, 25.58),
   (15, 15, 21, 69.84),
   (16, 16, 6, 47.73),
   (17, 17, 26, 81.00),
   (18, 18, 11, 91.60),
   (19, 19, 8, 78.53),
   (20, 20, 43, 84.33),
   (21, 21, 46, 90.01),
   (22, 22, 6, 49.82),
   (23, 23, 37, 50.20),
   (24, 24, 27, 99.27);
   

6. Execute a seguinte consulta de pesquisa vetorial que tenta encontrar produtos semelhantes à palavra music. Isso significa que, mesmo que a palavra music não seja mencionada explicitamente na descrição do produto, o resultado mostra produtos relevantes para a consulta:

   SELECT * FROM product
   ORDER BY embedding <=> embedding('text-embedding-005', 'music')::vector
   LIMIT 3;
   

   O resultado da consulta é este:

   Realizar uma pesquisa de vetor básica sem criar um índice usa a pesquisa de vizinho exato mais perto (KNN), que oferece um recall eficiente. Em grande escala, o uso do KNN pode afetar a performance. Para melhorar o desempenho da consulta, recomendamos usar o índice ScaNN para pesquisa aproximada de vizinho mais próximo (ANN), que oferece alta capacidade de recall com baixa latência.

   Sem criar um índice, o AlloyDB usa por padrão a pesquisa exata de vizinho mais próximo (KNN).

   Para saber mais sobre o uso do ScaNN em grande escala, consulte Introdução às embedding de vetor com a IA do AlloyDB.

Criar um índice do ScaNN na tabela de produtos

Execute a consulta a seguir para criar um índice product_index do ScaNN na tabela product:

  CREATE INDEX product_index ON product
  USING scann (embedding cosine)
  WITH (num_leaves=5);

O parâmetro num_leaves indica o número de nós folha com que o índice baseado em árvore cria o índice. Para mais informações sobre como ajustar esse parâmetro, consulte Ajustar o desempenho da consulta de vetor.

Fazer uma pesquisa de vetor

Execute a seguinte consulta de pesquisa vetorial que tenta encontrar produtos semelhantes à consulta em linguagem natural music. Mesmo que a palavra music não esteja incluída na descrição do produto, o resultado mostra itens relevantes para a consulta:

SET LOCAL scann.num_leaves_to_search = 2;

SELECT * FROM product
ORDER BY embedding <=> embedding('text-embedding-005', 'music')::vector
  LIMIT 3;

Os resultados da consulta são os seguintes:

O parâmetro de consulta scann.num_leaves_to_search controla o número de nós de folha pesquisados durante uma pesquisa de similaridade. Os valores de parâmetro num_leaves e scann.num_leaves_to_search ajudam a alcançar um equilíbrio entre desempenho e recall.

Fazer uma pesquisa vetorial que usa um filtro e uma junção

É possível executar consultas de pesquisa de vetor filtradas de forma eficiente mesmo usando o índice ScaNN. Execute a seguinte consulta complexa de pesquisa vetorial, que retorna resultados relevantes que atendem às condições da consulta, mesmo com filtros:

SET LOCAL scann.num_leaves_to_search = 2;

SELECT * FROM product p
JOIN product_inventory pi ON p.id = pi.product_id
WHERE pi.price < 80.00
ORDER BY embedding <=> embedding('text-embedding-005', 'music')::vector
LIMIT 3;

Acelerar sua pesquisa de vetor filtrada

Você pode usar o mecanismo colunar para melhorar o desempenho das pesquisas de similaridade de vetores, especificamente as pesquisas de K-vizinho mais próximo (KNN), quando combinadas com a filtragem de predicados altamente seletiva, por exemplo, usando LIKE em bancos de dados. Nesta seção, você vai usar a extensão vector e a extensão google_columnar_engine do AlloyDB.

As melhorias de desempenho vêm da eficiência integrada do mecanismo colunar na verificação de grandes conjuntos de dados e na aplicação de filtros, como predicados LIKE, além da capacidade de pré-filtrar linhas usando suporte a vetores. Essa funcionalidade reduz o número de subconjuntos de dados necessários para cálculos subsequentes de distância vetorial de KNN e ajuda a otimizar consultas analíticas complexas que envolvem filtragem padrão e pesquisa vetorial.

Para comparar o tempo de execução de uma pesquisa de vetor KNN filtrada por um predicado LIKE antes e depois de ativar o mecanismo colunar, siga estas etapas:

1. Ative a extensão vector para oferecer suporte a tipos de dados e operações de vetores. Execute as instruções a seguir para criar uma tabela de exemplo (itens) com um ID, uma descrição de texto e uma coluna de embedding de vetor de 512 dimensões.

   CREATE EXTENSION IF NOT EXISTS vector;
   
   CREATE TABLE items (
       id SERIAL PRIMARY KEY,
       description TEXT,
       embedding VECTOR(512)
   );
   

2. Preencha os dados executando as instruções a seguir para inserir 1 milhão de linhas na tabela de exemplo items.

   -- Simplified example of inserting matching (~0.1%) and non-matching data
   INSERT INTO items (description, embedding)
   SELECT
       CASE WHEN g % 1000 = 0 THEN 'product_' || md5(random()::text) || '_common' -- ~0.1% match
       ELSE 'generic_item_' || g || '_' || md5(random()::text)    -- ~99.9% don't match
       END,
       random_vector(512) -- Assumes random_vector function exists
   FROM generate_series(1, 999999) g;
   

3. Meça a performance de referência da pesquisa de semelhança vetorial sem o mecanismo de colunas.

   SELECT id, description, embedding <-> '[...]' AS distance
   FROM items
   WHERE description LIKE '%product_%_common%'
   ORDER BY embedding <-> '[...]'
   LIMIT 100;
   

4. Execute o comando a seguir na Google Cloud CLI para ativar o mecanismo colunar e o suporte a vetores. Para usar a CLI gcloud, instale e inicialize a CLI gcloud.

   gcloud beta alloydb instances update INSTANCE_ID \
       --cluster=CLUSTER_ID \
       --region=REGION_ID \
       --project=PROJECT_ID \
       --database-flags=google_columnar_engine.enabled=on,google_columnar_engine.enable_vector_support=on

5. Adicione a tabela items ao mecanismo colunar:

   SELECT google_columnar_engine_add('items');
   

6. Meça a performance da pesquisa de similaridade vetorial usando o mecanismo colunar. Execute novamente a consulta que você usou antes para medir o desempenho de referência.

   SELECT id, description, embedding <-> '[...]' AS distance
   FROM items
   WHERE description LIKE '%product_%_common%'
   ORDER BY embedding <-> '[...]'
   LIMIT 100;
   

7. Para verificar se a consulta foi executada com o mecanismo colunar, execute o comando a seguir:

   explain (analyze) SELECT id, description, embedding <-> '[...]' AS distance
   FROM items
   WHERE description LIKE '%product_%_common%'
   ORDER BY embedding <-> '[...]'
   LIMIT 100;