Monitorar a integridade, a utilização de recursos e os jobs

Como administrador do BigQuery, você pode monitorar a integridade, o uso de slots e o desempenho dos jobs da sua organização ao longo do tempo com gráficos de integridade operacional e utilização de recursos. O BigQuery oferece gráficos configuráveis para ajudar você com o seguinte:

Antes de começar

  • Para conferir a integridade operacional, use reservas acessadas com um projeto de administração. Isso não é um requisito para visualizar os gráficos de utilização de recursos.

Funções exigidas

Para ter as permissões necessárias para visualizar todos os dados nos gráficos de integridade operacional e utilização de recursos, peça ao administrador para conceder a você os seguintes papéis do IAM na sua organização:

Para mais informações sobre a concessão de papéis, consulte Gerenciar o acesso a projetos, pastas e organizações.

Esses papéis predefinidos contêm as permissões necessárias para visualizar todos os dados nos gráficos de integridade operacional e utilização de recursos. Para conferir as permissões exatas necessárias, expanda a seção Permissões necessárias:

Permissões necessárias

As seguintes permissões são necessárias para visualizar todos os dados nos gráficos de integridade operacional e uso de recursos:

  • Para ver todos os dados nos gráficos de integridade operacional e utilização de recursos de uma organização:
    • bigquery.jobs.listExecutionMetadata or bigquery.jobs.listAll na organização
    • bigquery.reservationAssignments.list no projeto de administração usado para criar as reservas
    • bigquery.capacityCommitments.list no projeto de administração usado para criar as reservas
  • Como usuário sob demanda, para ver todos os dados nos gráficos de utilização de recursos de uma organização: bigquery.jobs.listExecutionMetadata or bigquery.jobs.listAll na organização
  • Para ver dados de resumo sobre a integridade operacional do armazenamento de tabela do BigQuery: bigquery.tables.get or bigquery.tables.list na organização
  • Para ver gráficos de integridade operacional e utilização de recursos no nível da reserva:
    • bigquery.reservations.list no projeto de administração usado para criar as reservas
    • bigquery.reservationAssignments.list no projeto de administração usado para criar as reservas
  • Para conferir os gráficos de utilização de recursos no nível do projeto: bigquery.jobs.listAll no projeto

Essas permissões também podem ser concedidas com funções personalizadas ou outros papéis predefinidos.

Monitorar a integridade operacional em uma organização

O painel de integridade operacional mostra as principais métricas da organização e as reservas dela em todos os locais onde você tem reservas. É possível usar esse painel para monitorar as seguintes métricas:

  • Uso de slots
  • Uso do embaralhamento
  • Simultaneidade de jobs
  • Erros
  • Duração do job
  • Bytes processados
  • Armazenamento total

Ver gráficos de integridade operacional

Para conferir informações sobre a integridade operacional da sua organização, siga estas etapas:

  1. No console Google Cloud , acesse a página Monitoring do BigQuery.

    Acessar Monitoring

  2. Selecione o projeto de administração usado para comprar slots e criar reservas.

  3. Na página Monitoring, acesse a guia Integridade operacional para conferir um resumo das principais métricas da sua organização em todos os locais e reservas.

  4. Opcional: para conferir métricas em tempo real, em que as consultas são executadas em dados atualizados a cada cinco minutos, clique na chave Dados em tempo real. Por padrão, essa configuração fica desativada, e a inatividade máxima dos dados é de cerca de uma hora.

  5. Para filtrar as métricas, configure os seguintes campos:

    • Na lista Selecionar local, escolha uma região para monitorar.
    • Na lista Selecionar reserva, escolha a opção desejada.
    • Na lista Selecionar projeto, escolha o projeto.
    • Na lista Período, selecione uma opção.
  6. Opcional: para ver mais detalhes sobre a integridade operacional com um gráfico de utilização de recursos ou um explorador de jobs, clique em Mostrar mais.

O BigQuery coleta as métricas consultando as seguintes visualizações INFORMATION_SCHEMA:

Visualizações

A guia Integridade operacional mostra as seguintes visualizações de resumo e detalhadas.

Visualização de resumo

A visualização de resumo mostra a integridade dos subsistemas da sua organização, incluindo reservas e regiões, nos últimos 30 minutos.

Para acessar a visualização de resumo, faça o seguinte:

  • Na guia Integridade operacional, na lista Selecionar local, escolha Todos os locais.

Visualização detalhada

A visualização detalhada mostra gráficos de cronograma detalhados de diferentes métricas em um local ou nível de reserva.

Para acessar a visualização detalhada, faça o seguinte:

  • Na guia Integridade operacional, na lista Selecionar local, escolha a região ou edição.

É possível refinar os dados mostrados na visualização detalhada usando os seguintes filtros opcionais:

  • Na lista Selecionar reserva, escolha o nome da reserva.
  • Na lista Selecionar projeto, escolha o projeto.

Gráficos

O BigQuery oferece as seguintes opções de tabela e gráfico, que permitem analisar suas métricas de integridade operacional em detalhes.

Tabela de resumo

As tabelas de resumo mostram as seguintes métricas:

  • Uso de slots. A utilização média de slots. A capacidade total de slots é igual à capacidade de referência e à capacidade máxima escalonada automaticamente.
  • Uso do embaralhamento. O máximo de todas as proporções médias de uso de embaralhamento de reserva.
  • Simultaneidade. O número máximo de jobs em execução simultânea.
  • Bytes processados. O total de bytes processados por jobs concluídos.
  • Duração do job. O tempo médio de execução dos jobs concluídos, calculado do momento em que o job foi criado até o momento em que ele foi encerrado.
  • Armazenamento total. O total de bytes lógicos ativos na última atualização.

Há duas tabelas de resumo apresentadas na visualização: Resumo do local e Resumo da reserva. Cada linha da tabela representa o uso de um local ou uma reserva.

As tabelas exibem métricas referentes aos 30 minutos anteriores à última atualização. Se a opção Dados em tempo real estiver ativada, os dados consultados serão atualizados a cada cinco minutos. Se a opção Dados em tempo real estiver desativada, a inatividade máxima dos dados será de aproximadamente uma hora.

A célula da tabela será codificada por cores se a métrica for maior que o limite predefinido e se houver um número maior de insights de performance para jobs repetidos:

  • Se o valor da métrica nos 30 minutos anteriores à última atualização for maior que o valor de P99 do uso da semana passada para o mesmo dia, a célula da tabela será marcada com um fundo azul-escuro.
  • Se o valor da métrica nos 30 minutos estiver entre o valor de P95 a P99 do uso da semana passada para o mesmo dia, a célula da tabela será marcada com um plano de fundo azul-claro.

Todos os limites são predefinidos e não podem ser personalizados. Para verificar um limite, clique em informações Informações.

Tabela de resumo administrativo do BigQuery.

Filtrar dados

É possível filtrar dados em gráficos com base nos seguintes valores:

Dados de filtro administrativo do BigQuery.

  • Local. As regiões em que a organização teve atividade nos últimos 30 dias estão disponíveis. A visualização de resumo apresenta uma tabela que resume o uso em todas as regiões ativas.
  • Reserva. Esse campo está disponível apenas na visualização detalhada. Todas as reservas pertencentes ao projeto de administração estão disponíveis. Só é possível escolher uma reserva.
  • Projeto. Esse campo está disponível apenas na visualização detalhada. Todos os projetos que têm tráfego na organização estão disponíveis. É possível selecionar apenas um projeto.
  • Intervalo de tempo. Esse campo está disponível apenas na visualização detalhada. Ela afeta os gráficos de linha do tempo de métricas e o gráfico de rosca de erro na visualização detalhada. A escala de dados nos gráficos de linha do tempo de métricas é ajustada automaticamente de acordo com o período selecionado.

Gráfico de principais consultas ativas

Este gráfico mostra os 10 principais jobs com recursos ativos classificados em ordem decrescente. No menu suspenso, você pode selecionar uma opção de classificação com base no uso do slot ou na duração do job. O ID do job e o número de uso de recursos relevante são apresentados no gráfico de barras. Selecione Mostrar mais ou o ID do job no gráfico das principais consultas ativas para ver mais detalhes no Analisador de jobs. Para saber mais sobre os detalhes de execução e diagnosticar problemas de desempenho nos jobs do BigQuery, consulte Receber insights de desempenho de consulta.

Gráfico de rosca de erro

Este gráfico mostra a proporção das principais causas de falha no período selecionado. Na visualização de resumo, o padrão é cobrir os últimos 30 minutos. Na visualização detalhada, o seletor de intervalo de tempo controla a cobertura. É possível agrupar os erros por tipo, projeto de proprietário ou reserva. A contagem de jobs com falha é apresentada no gráfico de rosca.

Gráfico de rosca de erro do BigQuery.

Gráficos de cronograma de métricas

Os gráficos mostram uma visão geral das métricas compatíveis por um período máximo de 30 dias. O período padrão é de uma hora. À medida que o período selecionado muda, a granularidade de cada ponto de dados no gráfico é dimensionada automaticamente.

Esses gráficos mostram um valor agregado em uma região ou reserva. Não é possível exibir dados de várias regiões ou reservas.

Gráficos de cronograma de métricas do BigQuery.

Os gráficos de cronograma de métricas são compatíveis com as seguintes métricas:

  • Uso de slots. O uso médio de slots no período selecionado. Ele exibe o uso geral de slots de todos os jobs e jobs com falha separadamente.
  • Simultaneidade de jobs. O número máximo de jobs em execução simultaneamente no período selecionado. Ele exibe a contagem de jobs em execução e pendentes separadamente e é mostrado como um gráfico de barras empilhadas.
  • Bytes verificados. O total de bytes processados por jobs concluídos no período selecionado.
  • embaralhamento. O máximo de todas as proporções médias de uso de embaralhamento da reserva no período selecionado.
  • Duração do job. O tempo médio de execução dos jobs concluídos no período selecionado, calculado do horário de criação do job até o horário de término.
  • Erro por tipo. O gráfico de rosca de erro mostra a proporção de diferentes causas de falha no período selecionado.

Além das tendências de métricas, os gráficos mostram linhas de referência dos valores das métricas P95 e P99 do uso da semana passada para o mesmo dia. O gráfico Simultaneidade do job mostra o limite para a soma de jobs pendentes e em execução. Esses valores referenciados são usados como limites de codificação de cores na tabela de resumo.

Para saber mais sobre o gráfico, clique em Mostrar mais. A guia Utilização de recursos vai ser aberta.

Tabela de insights

Essa tabela agrega erros de cota, erros de acesso negado e insights de desempenho coletados durante as execuções de jobs no período selecionado. Os insights são agregados no nível da reserva. Cada linha fornece informações sobre o tipo de insight, local, reserva, detalhes do insight e IDs de jobs de exemplo. Clique nos IDs para ver mais detalhes no explorador de jobs. Na visualização de resumo, o período de observação padrão cobre os últimos 30 minutos. Na visualização detalhada, o seletor de período controla o período específico em que os dados de observação são mostrados.

Tabela de insights do BigQuery.

Monitorar a integridade operacional de um único projeto

O painel de integridade operacional do projeto é a visualização padrão se você não tiver acesso a toda a organização ou se o projeto não tiver nenhuma reserva. Essa visualização pode ajudar os analistas de projetos a monitorar a integridade do sistema nos projetos deles, assim como o painel de integridade operacional no nível da organização, mas mostra apenas dados no nível do projeto nos gráficos e filtros.

Ver a utilização de recursos do BigQuery

Os gráficos de recursos do BigQuery ajudam a rastrear o uso de recursos anterior para planejar necessidades futuras e solucionar problemas de desempenho.

Visualização de utilização de recursos, mostrando uma linha do tempo de métricas para uma organização ou projeto de administração e o painel em que você configura o gráfico

Os gráficos coletam métricas consultando as seguintes visualizações INFORMATION_SCHEMA:

Os dados podem ser atualizados em tempo real, com um período máximo de 30 dias.

Ao visualizar a utilização de recursos, você pode configurar o seguinte:

  • O gráfico de linha do tempo de eventos mostra uma visão geral dos dados em até 30 dias. O padrão é 6 horas.

  • O gráfico principal mostra as métricas escolhidas, como uso de slots ou bytes processados, ao longo do tempo para sua organização ou projeto de administração. Uma legenda do gráfico oferece mais detalhes sobre os dados mostrados.

  • No painel Configuração do gráfico, é possível selecionar visualizações predefinidas das suas métricas ou personalizar as próprias métricas para as visualizações.

O gráfico de utilização de recursos tem os seguintes elementos:

  • Na guia "Utilização de recursos", passe o cursor sobre o ícone de status na parte de cima do gráfico para mostrar mais informações sobre uma métrica.
  • Os ícones de status também mostram o seguinte:

    • Se a métrica ainda estiver sendo carregada, um ícone de carregamento vai aparecer.
    • Se a métrica usar dados desatualizados, um ícone de relógio será apresentado.
    • Se a métrica não puder ser carregada devido a filtros no nível da página incompatíveis, ela será tachada.
    • Se a métrica não for carregada, o ícone de status será destacado.

Ver e configurar gráficos de utilização de recursos

Para ver e configurar os gráficos de utilização de recursos, siga estas etapas:

  1. No console Google Cloud , acesse a página Monitoring do BigQuery.

    Acessar Monitoring

  2. Selecione o projeto. Como administrador que monitora o uso de recursos de reserva, escolha o projeto de administração usado para comprar slots e criar reservas. Como analista de dados que monitora o uso de recursos de jobs, escolha o projeto correspondente.

  3. Na página Monitoring, acesse a guia Utilização de recursos para conferir um resumo do uso de recursos, dividido por local.

  4. Escolha um período para as métricas nessa visualização, como 1 dia. Para conferir métricas em tempo real, em que as consultas são executadas com dados atualizados, clique na chave Dados em tempo real. Essa configuração fica desativada por padrão para melhorar o desempenho, e a inatividade máxima dos dados é de cerca de uma hora.

  5. No painel Configuração do gráfico, configure os seguintes campos:

    • No campo Visualização de métrica, selecione uma das opções.
    • No campo Métricas, selecione uma métrica para visualizar. É possível adicionar ou editar uma métrica.
    • No campo Agrupar por, selecione como agrupar os dados.
    • No campo Filtros, selecione como filtrar os dados.
  6. Para salvar as mudanças feitas na configuração do gráfico, clique em Aplicar.

Visualização de métricas

O BigQuery fornece visualizações pré-configuradas de métricas de utilização de recursos. As seções a seguir descrevem as métricas que você pode configurar nessas visualizações.

Uso de slots de reserva

Essa visualização mostra métricas sobre o detalhamento do uso de slots para as reservas no projeto administrativo. Cada métrica tem as seguintes configurações padrão, que podem ser editadas no painel Configuração do gráfico clicando no nome da métrica:

  • Os dados de uso padrão são dos recursos de reserva.
  • O escopo padrão é o projeto.
  • A agregação padrão é pelo uso médio no período selecionado.
Nome da métrica Descrição
Reserva: uso de slots Monitora o uso total de slots no período selecionado.
Reserva: uso de slot inativo Monitora o uso de slots acima da capacidade da reserva no período selecionado. Com essa métrica, é possível monitorar os slots ociosos emprestados de outras reservas e compromissos ou as imprecisões de arredondamento nos dados de uso. Isso pode fazer com que a métrica tenha um valor diferente de zero, mesmo que o compartilhamento de slots ociosos esteja desativado.
O uso de slots inativos é um valor aproximado e é calculado com base em Uso de slots, Slots comprometidos e Slots com escalonamento automático. Se o valor de uso de slots exceder a capacidade de compromisso e os slots de escalonamento automático, o gráfico vai agrupar o restante como slots inativos.
Reserva: slots de referência usados Monitora os slots usados do valor de referência da reserva.
Reserva: slots escalonados automaticamente e usados Monitora os slots usados das reservas com escalonamento automático.
Visão geral da utilização da edição

Essa visualização mostra métricas sobre o uso e a capacidade de slots para recursos de edição no projeto administrativo. Cada métrica tem as seguintes configurações padrão, que podem ser editadas no painel Configuração do gráfico clicando no nome da métrica:

  • Os dados de uso padrão são do recurso de reserva, e os dados de capacidade são do recurso de edição.
  • O escopo padrão é o projeto.
Nome da métrica Descrição
Reserva: uso de slots Monitora o uso de slots no período selecionado. A agregação padrão é feita pelo uso do slot p99 no período selecionado.
Reserva: uso de slot inativo Monitora o uso de slots acima da capacidade da reserva no período selecionado. Com essa métrica, é possível monitorar os slots ociosos emprestados de outras reservas e compromissos ou as imprecisões de arredondamento nos dados de uso. Isso pode fazer com que a métrica tenha um valor diferente de zero, mesmo que o compartilhamento de slots ociosos esteja desativado.
O uso de slots inativos é um valor aproximado e é calculado com base em Uso de slots, Slots confirmados e Slots com escalonamento automático. Se o valor de uso de slots exceder a capacidade de compromisso e os slots de escalonamento automático, o gráfico vai agrupar o restante como slots inativos.
A agregação padrão é pelo uso de recursos p99 no período selecionado.
Edição: capacidade de referência Monitora o tamanho de referência das reservas neste projeto de administração.
Edição: capacidade máxima Monitora o número máximo de slots disponíveis no período selecionado. A métrica é a soma da capacidade de compromisso, da capacidade de referência e da capacidade escalonada automaticamente. A agregação padrão é pelo uso máximo de recursos no período selecionado.
Edição: capacidade atribuída Monitora o número real de slots atribuídos aos recursos da sua edição no período selecionado. A agregação padrão é pelo uso máximo de recursos no período selecionado.
Visão geral do projeto atual

Essa visualização mostra métricas sobre recursos de job no projeto em que você executa consultas. Cada métrica tem as seguintes configurações padrão, que podem ser editadas no painel Configuração do gráfico clicando no nome da métrica:

  • O recurso padrão é o recurso de job.
  • O escopo padrão é o projeto.
Nome da métrica Descrição
Trabalho - Projeto - Uso de slot Monitora o uso de slots no período selecionado. A agregação padrão é pelo uso máximo de recursos no período selecionado.
Job - Projeto - Bytes processados Monitora o total de bytes processados por jobs concluídos no período selecionado. A agregação padrão é pela soma de bytes processados no período selecionado.
Job - Projeto - Simultaneidade de jobs Monitora o número de jobs em execução simultânea no período selecionado. A agregação padrão é pelo uso máximo de recursos no período selecionado.
Job - Projeto - Duração do job Monitora o tempo de execução dos jobs concluídos no período selecionado. O tempo de execução mede o período entre a criação e a conclusão do job. A agregação padrão é feita pela média de tempo de execução no período selecionado.
Visão geral das reservas próprias

Essa visualização mostra métricas sobre a atividade de jobs com recursos de reserva no projeto administrativo. Cada métrica tem as seguintes configurações padrão, que podem ser editadas no painel Configuração do gráfico clicando no nome da métrica:

  • O recurso padrão é o recurso de reserva.
  • O escopo padrão é o projeto.
Nome da métrica Descrição
Reserva: uso de slots Monitora o uso de slots no período selecionado. A agregação padrão é pelo uso máximo de recursos no período selecionado.
Reserva: bytes processados Monitora o total de bytes processados por jobs concluídos no período selecionado. A agregação padrão é pela soma de bytes processados no período selecionado.
Reserva: simultaneidade de jobs Monitora o número de jobs em execução simultânea no período selecionado. A agregação padrão é pelo uso máximo de recursos no período selecionado.
Reserva: duração do job Monitora o tempo de execução dos jobs concluídos no período selecionado. O tempo de execução mede o tempo entre a criação e a conclusão do job. Ele inclui enfileiramento e novas tentativas. A agregação padrão é pelo tempo de execução médio no período selecionado.
Reserva: uso do embaralhamento Monitora a proporção de uso do embaralhamento no período selecionado. A agregação padrão é pelo uso médio no período selecionado.
Visualização personalizada

Para criar uma visualização de métrica personalizada, adicione métricas do zero ou comece com uma das visualizações predefinidas (por exemplo, a Visão geral das reservas) e personalize as métricas nela.

Métricas

Ao configurar um gráfico, é possível adicionar, editar ou excluir as métricas de utilização de recursos que ele monitora.

Para configurar as métricas do gráfico de utilização de recursos, siga estas etapas:

  1. No console Google Cloud , confira os gráficos de utilização de recursos do BigQuery.

  2. No painel Configuração do gráfico, configure o campo Métricas:

    1. Clique em Adicionar um item > Selecionar uma métrica.
    2. Na caixa de diálogo Selecionar uma métrica, escolha o seguinte:

      1. O tipo de recurso a ser monitorado: Job, Reservation ou Edition.
      2. O escopo a ser monitorado. Por exemplo, para monitorar as métricas de job no projeto atual, selecione o escopo Projeto.
      3. Escolha uma métrica para monitorar. Por exemplo, para monitorar o uso de slots de job, escolha Uso de slots.
    3. Clique em Aplicar.

    4. Na caixa de diálogo Novo item, escolha a agregação. Por exemplo, para monitorar o uso máximo de slots acima da capacidade da reserva no período selecionado, escolha Máximo.

    5. Clique em Concluído para salvar a métrica.

  3. Opcional: para mudar uma métrica, clique no nome dela e edite as configurações ou exclua.

Tipos de recursos e escopos compatíveis para métricas

As métricas de utilização de recursos são categorizadas por tipo e escopo de recurso.

Tipos de recurso

É possível monitorar os seguintes tipos de recursos:

Recurso Descrição
Job Métricas sobre detalhes de jobs do BigQuery para um determinado escopo e período.
Reserva Métricas sobre o uso da reserva do BigQuery para um determinado escopo e período. Essas métricas agregam detalhes do job por reserva. Se você tiver apenas acesso parcial aos dados no nível da reserva, as métricas agregadas de uso da reserva estarão disponíveis, sem acesso aos detalhes no nível do job.
Edição Métricas sobre a capacidade da edição do BigQuery para um determinado escopo e período.

Tipos de escopo

Depois de selecionar um recurso para uma métrica, escolha um escopo.

  • Por padrão, os recursos de reserva e edição têm um escopo no nível do projeto.
  • O recurso de job pode ser definido para escopos no nível do projeto, da pasta ou da organização. Escopos maiores exigem mais permissões.

Agrupar por

Para agrupar dados no gráfico de utilização de recursos, siga estas etapas:

  1. No console Google Cloud , confira os gráficos de utilização de recursos do BigQuery.

  2. No painel Configuração do gráfico, configure o campo Agrupar por selecionando uma das seguintes opções:

    • Nenhum: essa opção oferece uma visão geral de alto nível das métricas escolhidas ao longo do tempo em toda a organização.
    • Projeto: agrupa as métricas escolhidas por projeto. Se houver mais de 50 projetos, apenas os 50 principais com o maior uso de slot serão mostrados.
    • Todas as outras opções de agrupamento por: são semelhantes à visualização do projeto, com dados agrupados pela respectiva dimensão. Se uma opção de agrupamento por não for compatível com todas as métricas escolhidas, ela não poderá ser selecionada.

Ao configurar o gráfico de utilização de recursos, é possível aplicar filtros aos dados, como mostrar o uso de recursos da edição Enterprise ou por um ID de recurso.

Para filtrar os dados do gráfico, aplique filtros no painel de filtros. Só é possível selecionar um filtro se ele for compatível com as métricas escolhidas. Para conferir as permissões necessárias, clique no menu Filtrar.

Conferir dados de utilização de recursos no nível do projeto

É possível analisar a utilização de recursos no nível do projeto usando as mesmas etapas de configuração que você usaria para visualizar dados no nível da organização. Os gráficos mostram apenas dados e opções de configuração no nível do projeto (as opções no nível da organização ficam esmaecidas). Esse escopo no nível do projeto mostra a utilização geral de recursos, independentemente do modo de faturamento no projeto contextual.

Limitações do gráfico de uso de recursos

  • O gráfico e a tabela no meio da página mostram métricas relevantes para o período e a granularidade selecionados.
  • Métricas com a mesma unidade compartilham a mesma escala. O gráfico é compatível com até duas escalas diferentes.

Mudar para a interface antiga

Por padrão, você tem acesso aos gráficos de recursos da edição ao navegar pelo projeto de administração de reserva. É possível alternar entre os gráficos de recursos sob demanda e os gráficos de recursos da edição no projeto de administração de reservas (Visualização).

Para ver os gráficos de recursos, siga estas etapas:

  1. Acessar a página do BigQuery.
    Acessar o BigQuery
  2. No menu do projeto, selecione o projeto de administração usado para comprar slots e criar reservas.
  3. No menu de navegação, clique em Monitoring.
  4. Na seção Opções de gráfico > Escopo, é possível selecionar o modelo de faturamento na lista, que inclui três tipos de edições e a opção sob demanda. Por padrão, o modelo de faturamento é definido com a edição Enterprise.
  5. Na seção Opções de gráfico > Configurações de gráfico, faça o seguinte:
    1. Na lista Gráfico, selecione o tipo de gráfico. Para informações sobre as diferentes opções de gráfico, consulte Opções de gráfico.
    2. Na lista Métricas, selecione o tipo de métrica disponível.
    3. Na lista Agrupar por, selecione a dimensão pela qual você quer agrupar os dados no gráfico. Para informações sobre diferentes dimensões, consulte Agrupar por opções.
    4. Na lista Filtros, selecione as opções de filtro disponíveis. Para informações sobre filtros diferentes, consulte Filtros e pesquisa.
    5. Defina o período para o qual você quer visualizar os dados no gráfico.

Configurações de gráfico

É possível ajustar a visualização dos gráficos de recursos alterando as opções de configuração de gráfico a seguir.

Opções do gráfico

O BigQuery fornece os seguintes tipos de métricas para exibir nos gráficos:

  • Uso de slots. Uso médio de slots. Se a opção Agrupar por estiver definida como Geral ou se os Filtros forem Nenhum ou uma única reserva, as métricas de capacidade e uso de slots emprestados também serão mostradas.
    • Uso total. O uso médio de slots no período selecionado.
    • Uso de slots emprestados. Uso médio acima da capacidade da reserva. Geralmente, são slots inativos emprestados de outras reservas e compromissos ou imprecisões de arredondamento nos dados de uso. Outros slots inativos aparecem no gráfico de utilização de recursos, mesmo que o compartilhamento de slots inativos esteja desativado. O uso de slots ociosos é um valor aproximado e é calculado com base em Uso de slots, Slots confirmados e Slots com escalonamento automático. Se o valor de uso de slots exceder a capacidade de compromisso, o gráfico vai agrupá-los como slots inativos.
    • Capacidade do compromisso. O tamanho do compromisso de edição.
    • Capacidade de referência. O tamanho de referência da reserva.
    • Capacidade de escalonamento automático. O tamanho do slot com escalonamento automático.
    • Capacidade máxima. O número máximo de slots que o usuário pode acessar.
  • Simultaneidade de jobs. Número máximo de jobs em execução simultaneamente no período selecionado.
  • Desempenho do job. Tempo médio de execução dos jobs concluídos, calculado a partir do momento da criação do job até o momento em que ele foi encerrado.
  • Jobs com falha. Uso médio de slot no período selecionado de jobs com falha.
  • Bytes processados. Total de bytes processados por jobs concluídos no período selecionado.
  • Uso do embaralhamento. Proporção média de uso do embaralhamento no período selecionado (prévia).
Componentes da tabela

A tabela mostra métricas relevantes ao período e à dimensão selecionados no gráfico de recursos.

O gráfico Uso de slots mostra o Uso médio de slots de todos os jobs em execução durante o período selecionado. Os jobs que não foram concluídos dentro do período selecionado incluem apenas os slots usados no período especificado.

Para o gráfico Desempenho do job, o componente da tabela exibe as seguintes métricas:

  • Número de jobs. O número de jobs concluídos ou executados parcialmente no período selecionado.
  • Duração média do job. A duração média dos jobs concluídos que foram pelo menos parcialmente executados no período selecionado.
  • Duração mediana do job. A duração média dos jobs concluídos que foram pelo menos parcialmente executados no período selecionado.
  • Duração mínima do job. A duração mínima dos jobs concluídos que foram parcialmente executados dentro do período selecionado. Essa coluna fica oculta por padrão, mas é possível ativá-la em Opções de exibição de colunas.
  • Duração máxima do job. A duração máxima dos jobs concluídos que foram pelo menos parcialmente executados no período selecionado. Essa coluna fica oculta por padrão, mas é possível ativá-la em Opções de exibição de colunas.

Para o gráfico Jobs com falha, o componente da tabela exibe os seguintes dados:

  • Uso médio de slot. Igual ao gráfico Uso de slots, mas somente para jobs com falha.
  • Total de jobs com falha. O número de jobs que falharam no período selecionado.
Agrupar por opções

Com base no tipo de gráfico, você pode agrupar dados na visualização do gráfico por várias dimensões:

  • Geral. A visualização geral é uma visão geral de alto nível da métrica selecionada ao longo de toda a organização. Para uso do slot, a capacidade e o uso são mostrados no mesmo gráfico para dar uma ideia da utilização geral do slot ao longo do tempo.
  • Projeto. A visualização "Projeto" mostra a métrica selecionada agrupada por projeto. Se uma organização tiver mais de 10 projetos, apenas os 10 principais projetos com o maior uso de slot, simultaneidade de job, duração do job ou jobs com falha no período selecionado serão mostrados. Para o uso do slot, todos os outros projetos são agrupados na categoria Outros na parte de baixo do gráfico para facilitar a comparação com a capacidade geral.
  • Todas as outras visualizações de agrupamento são semelhantes à visualização do projeto, com dados agrupados pela respectiva dimensão.
Opção de período

É possível modificar o período das seguintes maneiras:

  • Selecione e arraste o período no gráfico de linha do tempo de eventos.
  • Selecione e arraste o período no gráfico principal.

O período de alinhamento é atualizado automaticamente à medida que o período selecionado muda. Quanto menor o período de alinhamento, mais detalhada é a visualização. Para visualizar melhor os recursos que mudam com frequência, como a opção Uso de slots, reduza o período de alinhamento.

Filtrar e pesquisar

Para restringir os dados do gráfico, aplique filtros no painel de filtros. Alguns filtros só estão disponíveis para determinados gráficos. Os filtros Reservas, Pastas, Projetos e Usuários são preenchidos com os respectivos recursos que consumiram slots no período selecionado. Por exemplo, se um projeto não tiver sido usado nos últimos 30 dias, ele não vai aparecer na lista de filtros.

O gráfico é atualizado depois da aplicação de filtros para mostrar os dados nos parâmetros selecionados.

Resolver problemas de contenção de slot

A contenção de slots pode ocorrer quando não há slots suficientes para executar todos os seus jobs, causando problemas de desempenho. Para resolver problemas de disputa de slots, siga as etapas e práticas recomendadas abaixo.

Se você tentou essas práticas recomendadas, mas ainda está com problemas de desempenho do job, solicite suporte.

Picos de simultaneidade de jobs

Use a Visualização detalhada para verificar um aumento repentino nas execuções de jobs em que há picos simultâneos de uso de slots. Isso pode indicar que há muitos jobs disputando slots limitados pela sua reserva.

  • Prática recomendada: otimize consultas que consomem muitos recursos ou a capacidade de slot da sua reserva. Para mais informações sobre como otimizar o desempenho das consultas, consulte Otimizar a computação de consultas.

Uso elevado de slots

Use a visualização detalhada para verificar se houve aumento na duração dos jobs, principalmente se houver jobs que excedam a capacidade máxima da sua reserva. O uso consistentemente alto de slots pode indicar uma disputa em andamento.

  • Prática recomendada: verifique as consultas usando o filtro de disputa de slots do Job Explorer para identificar as que consomem mais slots e otimizá-las.

Durações longas de jobs

Se os jobs estiverem demorando muito mais para serem concluídos, confira a Visualização detalhada. Picos altos de simultaneidade de jobs e uso de slots podem indicar disputa de slots.

  • Prática recomendada: isole os jobs críticos pausando temporariamente os menos importantes ou reduzindo a taxa geral de envio de jobs.

Mensagens de contenção de slot

A tabela de insights pode mostrar mensagens como There were NUMBER jobs detected with slot_contention in the reservation., que indicam problemas de disputa de slots. Confira o explorador de jobs para analisar detalhes sobre os jobs específicos sinalizados nessas mensagens.

  • Prática recomendada: otimize as consultas identificadas ou ajuste a alocação de slots da sua reserva.

A seguir