Neste documento, descrevemos como consultar e analisar os dados de registros armazenados em buckets de registros que foram atualizados para usar a Análise de dados de registros. É possível consultar os registros nesses buckets usando SQL, o que permite filtrar e agregar os registros. Para ver os resultados da consulta, use o formato tabular ou visualize os dados com gráficos. É possível salvar essas tabelas e gráficos nos seus painéis personalizados.
É possível consultar uma visualização de registros em um bucket de registros ou uma visualização de análise. Quando você consulta uma visualização de registros, o esquema corresponde ao da estrutura de dados LogEntry
.
Como o criador de uma vista do Google Analytics determina o esquema, um caso de uso para as vistas do Google Analytics é transformar dados de registro do formato LogEntry
em um formato mais adequado para você.
Use o Explorador de registros para ver as entradas armazenadas em buckets de registros no seu projeto, independente de terem sido atualizados para usar a análise de registros.
A Análise de dados de registros não remove entradas duplicadas, o que pode afetar a forma como você escreve as consultas. Além disso, há algumas restrições ao usar o Log Analytics. Para mais informações sobre esses temas, consulte os documentos a seguir:
- Solução de problemas: há entradas de registro duplicadas nos meus resultados da Análise de dados de registros.
- Análise de registros: restrições.
Sobre conjuntos de dados vinculados
A Análise de dados de registros permite a criação de conjuntos de dados vinculados do BigQuery, que dão ao BigQuery acesso de leitura aos dados subjacentes. Se você optar por criar um conjunto de dados vinculado, poderá fazer o seguinte:
- Mesclar dados entrada de registro com outros conjuntos de dados do BigQuery.
- Consulte dados de registros de outro serviço, como a página do BigQuery Studio ou o Looker Studio.
- Melhore o desempenho das consultas executadas na Análise de registros executando-as nos slots reservados do BigQuery.
- Crie uma política de alertas que monitore o resultado de uma consulta SQL. Para mais informações, consulte Monitorar os resultados da consulta SQL com uma política de alertas.
Este documento não descreve como criar um conjunto de dados vinculado nem como configurar o Log Analytics para executar consultas em slots reservados. Se você tiver interesse nesses tópicos, consulte Consultar um conjunto de dados vinculado no BigQuery.
Antes de começar
Nesta seção, descrevemos as etapas que você precisa concluir antes de usar a análise de registros.
Configurar buckets de registros
Confirme se os buckets de registros foram atualizados para usar a Análise de registros:
-
No console Google Cloud , acesse a página Armazenamento de registros:
Acessar o armazenamento de registros
Se você usar a barra de pesquisa para encontrar essa página, selecione o resultado com o subtítulo Logging.
- Para cada bucket de registros com uma visualização que você quer consultar, verifique se a coluna Log Analytics disponível mostra Abrir. Se a opção Fazer upgrade aparecer, clique nela e conclua a caixa de diálogo.
Configurar permissões e papéis do IAM
Nesta seção, descrevemos os papéis ou as permissões do IAM necessários para usar a análise de registros:
-
Para receber as permissões necessárias para usar a Análise de registros e consultar visualizações de registros, peça ao administrador para conceder a você os seguintes papéis do IAM no projeto:
-
Para consultar os buckets de registros
_Required
e_Default
: Visualizador de registros (roles/logging.viewer
) -
Para consultar todas as visualizações de registros em um projeto:
Acessador de visualização de registros (
roles/logging.viewAccessor
)
É possível restringir um principal a uma visualização de registros específica adicionando uma condição do IAM à concessão de papel de leitor de acesso à visualização de registros feita no nível do projeto ou adicionando uma vinculação do IAM ao arquivo de política da visualização de registros. Para mais informações, consulte Controlar o acesso a uma visualização de registro.
Essas são as mesmas permissões necessárias para visualizar entradas de registro na página Análise de registros. Para informações sobre outros papéis necessários para consultar visualizações em buckets definidos pelo usuário ou para consultar a visualização
_AllLogs
do bucket de registros_Default
, consulte Papéis do Cloud Logging. -
Para consultar os buckets de registros
-
Para receber as permissões necessárias para consultar visualizações de análise, peça ao administrador para conceder a você o papel do IAM de Usuário da análise de observabilidade (
roles/observability.analyticsUser
) no projeto.
Consultar uma visualização de registros ou de análise
Ao resolver um problema, talvez seja necessário contar as entradas de registro com um campo que corresponda a um padrão ou calcular a latência média para solicitações HTTP. Para isso, execute uma consulta SQL em uma visualização de registros.
Para emitir uma consulta SQL em uma visualização de registros, faça o seguinte:
-
No console Google Cloud , acesse a página Análise de dados de registros:
Se você usar a barra de pesquisa para encontrar essa página, selecione o resultado com o subtítulo Logging.
Se você quiser carregar a consulta padrão, faça o seguinte:
No menu Visualizações, acesse a seção
Logs ou Visualizações do Analytics e selecione a visualização que você quer consultar.Para encontrar uma visualização, use a barra Filtrar filter_list ou role a lista:
As visualizações de registros são listadas por
BUCKET_ID.LOG_VIEW_ID
, em que esses campos se referem aos IDs do bucket de registros e da visualização de registros.As vistas do Google Analytics são listadas por
LOCATION.ANALYTICS_VIEW_ID
, em que esses campos se referem ao local e ao ID de uma vista do Google Analytics. As visualizações do Google Analytics estão no Acesso antecipado.
Na barra de ferramentas Esquema, clique em Consulta.
O painel Consulta é atualizado com uma consulta SQL que está consultando a visualização de análise selecionada.
Se você quiser inserir uma consulta, faça o seguinte:
Para especificar um período, recomendamos que você use o seletor de período. Se você puder adicionar uma cláusula
WHERE
que especifica o campotimestamp
, esse valor vai substituir a configuração no seletor de período, que será desativado.Para exemplos, consulte Exemplos de consultas.
Para consultar uma visualização de registro, a cláusula
FROM
da consulta precisa ter o seguinte formato:FROM `PROJECT_ID.LOCATION.BUCKET_ID.LOG_VIEW_ID`
Para consultar uma visualização do Google Analytics, a cláusula
FROM
da consulta precisa ter o seguinte formato:FROM `analytics_view.PROJECT_ID.LOCATION.ANALYTICS_VIEW_ID`
A seguir, descrevemos o significado dos campos nas expressões anteriores:
- PROJECT_ID: o identificador do projeto.
- LOCATION: o local da visualização de registros ou da visualização de análise.
- BUCKET_ID: o nome ou ID do bucket de registros.
- LOG_VIEW_ID: o identificador da visualização de registros, que é limitado a 100 caracteres e pode incluir apenas letras, dígitos, sublinhados e hifens.
- ANALYTICS_VIEW_ID: o ID da visualização do Google Analytics, que é limitado a 100 caracteres e pode incluir apenas letras, dígitos, sublinhados e hifens.
Na barra de ferramentas, verifique se um botão chamado Executar consulta aparece.
Se a barra de ferramentas mostrar Executar no BigQuery, clique em settings Configurações e selecione Análise de registros (padrão).
Execute a consulta.
A consulta é executada, e o resultado aparece na guia Resultados.
Use as opções da barra de ferramentas para formatar, limpar e abrir a documentação de referência do SQL do BigQuery.
Analise os resultados da consulta. É possível ver os resultados como uma tabela ou um gráfico. Os gráficos podem ser salvos em um painel personalizado. Para mais informações, consulte Criar consulta SQL SQL.
Mostrar o esquema
O esquema define a estrutura e o tipo de dados de cada campo. Essas informações são importantes porque determinam
como você cria suas consultas. Por exemplo, suponha que você queira calcular a latência média de solicitações HTTP. Você precisa saber como acessar o campo de latência e se ele é armazenado como um número inteiro, como 100
, ou como uma string, como "100"
. Quando os dados de latência são armazenados como uma string, a consulta precisa converter o valor em um número antes de calcular uma média.
A análise de registros infere automaticamente os campos de uma coluna quando o tipo de dados é JSON. Para saber com que frequência esses campos inferidos aparecem nos seus dados, clique em more_vert Opções e selecione Ver informações e descrição.
Para identificar o esquema, faça o seguinte:
-
No console Google Cloud , acesse a página Análise de dados de registros:
Se você usar a barra de pesquisa para encontrar essa página, selecione o resultado com o subtítulo Logging.
No painel Visualizações, encontre a visualização de registros ou de análise e selecione-a.
O esquema é exibido. Para visualizações de registros, o esquema é fixo e corresponde à estrutura de dados
LogEntry
. Para visualizações de análise, é possível modificar a consulta SQL para mudar o esquema.
A seguir
- Saiba mais sobre as visualizações do Google Analytics.
- Salvar e compartilhar uma consulta SQL.
- Criar gráficos com os resultados da consulta SQL.
- Exemplos de consultas SQL.
- Consulte um conjunto de dados vinculado no BigQuery.