Gerenciar recomendações de visualização materializada

Este documento descreve como o recomendador de visualização materializada funciona e também mostra como visualizar e aplicar recomendações de visualização materializada.

Introdução

O recomendador de visualização materializada do BigQuery ajuda a melhorar o desempenho da carga de trabalho e reduzir o custo de execução. Essas recomendações são baseadas nas características históricas de execução de consultas dos últimos 30 dias.

As visualizações materializadas são pré-calculadas e armazenam os resultados de uma consulta em cache periodicamente para aumentar o desempenho e a eficiência. As visualizações materializadas usam ajustes inteligentes para reescrever consultas de forma transparente em tabelas de origem e usar visualizações materializadas existentes para melhor desempenho e eficiência.

Como o recomendador funciona

O recomendador gera recomendações diariamente para cada projeto que executa jobs de consulta no BigQuery. As recomendações são baseadas na análise da execução da carga de trabalho nos últimos 30 dias. O recomendador de visualização materializada procura padrões de consulta repetitivas e calcula qualquer economia que poderia ser feita se a subconsulta repetitiva pudesse ser movida para uma visualização materializada incremental. O recomendador considera qualquer economia de tempo de consulta e custo de manutenção de conta para a visualização materializada. Se esses fatores combinados mostrarem um resultado positivo significativo, o recomendador fará uma recomendação.

Considere o exemplo de consulta a seguir:

WITH revenue   AS
(SELECT l_suppkey as supplier_no,
        sum(l_extendedprice * (1 - l_discount)) as total_revenue
  FROM lineitem
  WHERE
    l_shipdate >= date '1996-01-01'
    AND l_shipdate < date_add(date '1996-01-01', interval 3 MONTH)
  GROUP BY l_suppkey)
SELECT s_suppkey,
      s_name,
      s_address,
      s_phone,
      total_revenue
FROM
supplier,
revenue
WHERE s_suppkey = supplier_no
AND total_revenue =
  (SELECT max(total_revenue)
    FROM revenue)
ORDER BY s_suppkey

Este exemplo de consulta mostra informações sobre o fornecedor principal. A consulta contém uma expressão de tabela comum (CTE, na sigla em inglês) chamada revenue, que representa a receita total por fornecedor (l_suppkey). revenue é mesclado com a tabela do fornecedor na condição de que o total_revenue do fornecedor corresponda a max(total_revenue) em todos os fornecedores. Como resultado, a consulta calcula informações (l_suppkey, s_name, s_address, s_phone, total_revenue) sobre o fornecedor com a receita total máxima.

A consulta inteira é muito complicada para ser colocada em uma visualização materializada incremental. No entanto, a CTE supplier é uma agregação sobre uma única tabela, um padrão de consulta aceito por visualizações materializadas incrementais. A CTE supplier também é a parte mais cara da consulta em termos computacionais. Portanto, se a consulta de exemplo foi executada repetidamente em tabelas de origem em constante mudança, o recomendador de visualização materializada poderá sugerir colocar a CTE supplier em uma visualização materializada. A recomendação de visualização materializada para a consulta de exemplo anterior pode ser semelhante a esta:

CREATE MATERIALIZED VIEW mv AS
SELECT l_suppkey as supplier_no,
         sum(l_extendedprice * (1 - l_discount)) as total_revenue
  FROM lineitem
  WHERE
    l_shipdate >= date '1996-01-01'
    AND l_shipdate < date_add(date '1996-01-01', interval 3 MONTH)
  GROUP BY l_suppkey

A API Recommender também retorna informações de execução de consulta na forma de insights. Insights são descobertas que ajudam você a entender a carga de trabalho do seu projeto, fornecendo mais contexto sobre como uma recomendação de visualização materializada pode melhorar os custos da carga de trabalho.

Limitações

• O recomendador de visualização materializada não é compatível com o processo padrão para não participar do processamento de dados. Para deixar de receber recomendações de visualização materializada, siga as instruções no formulário de inscrição pré-GA do Gemini no BigQuery.
• Não é possível exportar as recomendações de visualização materializada para o BigQuery.

Antes de começar

Antes de visualizar ou aplicar recomendações de visualização materializada, você precisa ativar a API Recommender.

Permissões necessárias

Para ter as permissões necessárias para acessar as recomendações de visualização materializada, peça ao administrador para conceder a você o papel do IAM Leitor do recomendador de visualizações materializadas do BigQuery (roles/recommender.bigqueryMaterializedViewViewer). Para mais informações sobre a concessão de papéis, consulte Gerenciar o acesso a projetos, pastas e organizações.

Esse papel predefinido contém as permissões necessárias para acessar recomendações de visualização materializada. Para conferir as permissões exatas necessárias, expanda a seção Permissões necessárias:

Essas permissões também podem ser concedidas com funções personalizadas ou outros papéis predefinidos.

Para mais informações sobre os papéis e as permissões do IAM no BigQuery, consulte Introdução ao IAM.

Visualizar recomendações de visualização materializada

Nesta seção, descrevemos como acessar insights e recomendações de visualização materializada usando o console do Google Cloud, a CLI do Google Cloud ou a API Recommender.

Selecione uma das seguintes opções:

gcloud recommender recommendations list \
    --project=PROJECT_NAME \
    --location=REGION_NAME \
    --recommender=google.bigquery.materializedview.Recommender \
    --format=FORMAT_TYPE \

gcloud recommender insights list \
    --project=PROJECT_NAME \
    --location=REGION_NAME \
    --insight-type=google.bigquery.materializedview.Insight \
    --format=FORMAT_TYPE \

$ curl
-H "Authorization: Bearer $(gcloud auth print-access-token)"
-H "x-goog-user-project: PROJECT_NAME" https://recommender.googleapis.com/v1/projects/PROJECT_NAME/locations/LOCATION/recommenders/google.bigquery.materializedview.Recommender/recommendations

$ curl
-H "Authorization: Bearer $(gcloud auth print-access-token)"
-H "x-goog-user-project: PROJECT_NAME" https://recommender.googleapis.com/v1/projects/PROJECT_NAME/locations/LOCATION/insightTypes/google.bigquery.materializedview.Insight/insights

Conferir recomendações com INFORMATION_SCHEMA

Você também pode conferir suas recomendações e insights usando INFORMATION_SCHEMA visualizações. Por exemplo, é possível usar a visualização INFORMATION_SCHEMA.RECOMMENDATIONS para ver as três principais recomendações com base na economia de slots, conforme o exemplo a seguir:

+---------------------------------------------------+--------------------------------------------------------------------------------------------------+
|                    recommender                    |   target_resources      | est_gb_saved_monthly | slot_hours_saved_monthly |  last_updated_time
+---------------------------------------------------+--------------------------------------------------------------------------------------------------+
| google.bigquery.materializedview.Recommender      | ["project_resource"]    | 140805.38289248943   |        9613.139166666666 |  2024-07-01 13:00:00
| google.bigquery.table.PartitionClusterRecommender | ["table_resource_1"]    | 4393.7416711859405   |        56.61476777777777 |  2024-07-01 13:00:00
| google.bigquery.table.PartitionClusterRecommender | ["table_resource_2"]    |   3934.07264107652   |       10.499466666666667 |  2024-07-01 13:00:00
+---------------------------------------------------+--------------------------------------------------------------------------------------------------+

Para saber mais, acesse os recursos a seguir:

• Visualização INFORMATION_SCHEMA.RECOMMENDATIONS
• Visualização INFORMATION_SCHEMA.RECOMMENDATIONS_BY_ORGANIZATION
• Visualização INFORMATION_SCHEMA.INSIGHTS

Aplicar recomendações de visualização materializada

É possível aplicar uma recomendação para criar uma visualização materializada executando a instrução DDL do tipo CREATE MATERIALIZED VIEW sugerida no console do Google Cloud.

1. No Console do Google Cloud, acesse a página BigQuery.

   Acessar o BigQuery

2. Clique em Recomendações lightbulb.

   

3. O painel Recomendações do BigQuery será aberto. Em Otimizar o custo da carga de trabalho do BigQuery, clique em Visualizar detalhes.

   

4. Uma lista de recomendações será exibida, mostrando todas as recomendações geradas para projeto ou organização atual, dependendo do escopo selecionado. Localize uma recomendação de visualização materializada e clique em Detalhes.

5. Clique em Visualizar no BigQuery Studio. Um editor SQL será aberto com uma instrução DDL CREATE MATERIALIZED VIEW.

6. Na instrução CREATE MATERIALIZED VIEW fornecida, modifique o marcador de posição MATERIALIZED_VIEW com um nome exclusivo de visualização materializada.

7. Execute a instrução DDL CREATE MATERIALIZED VIEW para criar uma visualização materializada recomendada.

Resolver problemas de recomendação

Problema: nenhuma recomendação é exibida para uma tabela específica.

As recomendações de visualização materializada podem não aparecer nas seguintes circunstâncias:

• Não há padrões de consulta recorrentes entre os jobs de consulta executados por um projeto.
• Os padrões de consulta recorrentes não atendem às limitações de visualizações materializadas incrementais e não podem ser colocados em uma visualização materializada adequada para ajustes inteligentes.
• A visualização materializada em potencial teria um alto custo de manutenção. Por exemplo, as tabelas de origem geralmente são modificadas por operações de linguagem de manipulação de dados (DML) e, portanto, uma visualização materializada passa por uma atualização completa, o que gera mais custos.
• Há um número insuficiente de consultas que têm um padrão recorrente comum.
• A economia mensal estimada é muito insignificante (menos de 1 slot).
• Os jobs de consulta executados pelo projeto já usam visualizações materializadas.

Preços

Não há custo ou impacto negativo no desempenho da carga de trabalho quando você visualiza recomendações.

Ao aplicar recomendações criando visualizações materializadas, pode haver custos de armazenamento, manutenção e consulta. Para mais informações, consulte Preços de visualizações materializadas.