Encaminhar registros para destinos compatíveis

Neste documento, explicamos como criar e gerenciar coletores de registros, que roteiam entradas de registro originadas em um projeto Google Cloud para destinos compatíveis.

Um coletor executa uma ação de gravação e, portanto, precisa de autorização para gravar no destino. Quando o destino é um bucket de registros no mesmo projeto que o coletor, ele é autorizado automaticamente. Para todos os outros destinos, o coletor precisa estar anexado a uma conta de serviço que tenha recebido as permissões necessárias para gravar dados no destino.

Quando uma conta de serviço é necessária, o Cloud Logging a cria e gerencia automaticamente. No entanto, talvez seja necessário modificar as permissões concedidas à conta de serviço. Não é necessário usar a conta de serviço criada pelo Logging. É possível criar e gerenciar uma conta de serviço usada por gravadores em vários projetos. Para mais informações, consulte Configurar gravadores de registros com contas de serviço gerenciado pelo usuário.

Visão geral

Nesta página, descrevemos como criar um gravador e configurar as opções que podem aparecer ao usar o console Google Cloud ou a API.

Os coletores pertencem a um determinado recurso Google Cloud : um projeto Google Cloud , uma conta de faturamento, uma pasta ou uma organização. Quando o recurso recebe uma entrada de registro, todos os coletores nele processam a entrada. Quando uma entrada de registro corresponde aos filtros do coletor, ela é roteada para o destino do coletor.

Normalmente, os coletores encaminham apenas as entradas de registro originadas em um recurso. No entanto, para pastas e organizações, é possível criar coletores agregados, que encaminham entradas de registro da pasta ou organização e dos recursos que ela contém. Este documento não aborda os coletores agregados. Para mais informações, consulte Visão geral dos coletores agregados.

Para criar e gerenciar coletores, use o console Google Cloud , a API Cloud Logging e a Google Cloud CLI. Recomendamos usar o console Google Cloud :

  • A página Roteador de registros lista todos os coletores e oferece opções para gerenciar seus coletores.
  • Ao criar um coletor, é possível visualizar quais entradas de registro correspondem aos filtros dele.
  • É possível configurar destinos de coletor ao criar um.
  • Algumas etapas de autorização são concluídas para você.

Destinos possíveis

O destino de um coletor pode estar em um recurso diferente do coletor. Por exemplo, é possível usar um coletor de registros para encaminhar entradas de registro de um projeto para um bucket de registros armazenado em outro projeto.

Os seguintes destinos são compatíveis:

Google Cloud projeto

Selecione esse destino quando quiser que os coletores de registros no projeto de destino redirecionem suas entradas de registro ou quando você tiver criado um coletor agregado de interceptação. Os coletores de registros no projeto que é o destino do coletor podem redirecionar as entradas de registro para qualquer destino compatível, exceto um projeto.

Bucket de registros

Selecione esse destino quando quiser armazenar seus dados de registro em recursos gerenciados pelo Cloud Logging. Os dados de registro armazenados em buckets de registro podem ser visualizados e analisados usando serviços como o Explorador de registros e a Análise de registros.

Se você quiser unir seus dados de registro a outros dados comerciais, armazene os dados de registro em um bucket de registros e crie um conjunto de dados vinculado do BigQuery. Um conjunto de dados vinculado é um conjunto de dados somente leitura que pode ser consultado como qualquer outro conjunto de dados do BigQuery.

Conjunto de dados do BigQuery
Selecione esse destino quando quiser combinar seus dados de registro com outros dados da empresa. O conjunto de dados especificado precisa estar habilitado para gravação. Não defina o destino de um coletor como um conjunto de dados vinculado do BigQuery. Os conjuntos de dados vinculados são somente leitura.
Bucket do Cloud Storage
Selecione esse destino quando quiser armazenamento de longo prazo dos dados de registro. O bucket do Cloud Storage pode estar no mesmo projeto em que as entradas de registro foram criadas ou em um projeto diferente. As entradas de registro são armazenadas na forma de arquivos JSON.
Tópico do Pub/Sub
Selecione esse destino quando quiser exportar os dados de registro de Google Cloud e usar integrações de terceiros, como Splunk ou Datadog. As entradas de registro são formatadas em JSON e encaminhadas para um tópico do Pub/Sub.

Limitações de destino

Esta seção descreve limitações específicas do destino:

  • Se você rotear entradas de registro para um bucket de registros em um Google Cloud projeto diferente, o Error Reporting não vai analisar essas entradas. Para mais informações, consulte Visão geral do Error Reporting.
  • Se você encaminhar entradas de registro para um conjunto de dados do BigQuery, ele precisará estar habilitado para gravação. Não é possível encaminhar entradas de registro para conjuntos de dados vinculados, que são somente leitura.
  • Os novos coletores que encaminham dados de registros para buckets do Cloud Storage podem levar várias horas para começar a encaminhar entradas de registro. Esses coletores são processados a cada hora.

  • As seguintes limitações se aplicam quando o destino de um coletor de registros é um projeto do Google Cloud :

    • Há um limite de um salto.
    • As entradas de registro que correspondem ao filtro do coletor de registros _Required só são encaminhadas para o bucket de registros _Required do projeto de destino quando são originadas nele.
    • Somente coletores agregados que estão na hierarquia de recursos de uma entrada de registro processam a entrada de registro.

    Por exemplo, suponha que o destino de um coletor de registros no projeto A seja o projeto B. Então, o seguinte é verdadeiro:

    • Devido ao limite de um salto, os coletores de registros no projeto B não podem redirecionar entradas de registro para um projeto Google Cloud .
    • O bucket de registros _Required do projeto B armazena apenas entradas de registro originadas no projeto B. Esse bucket de registros não armazena entradas de registro originadas em outros recursos, incluindo as do projeto A.
    • Se a hierarquia de recursos dos projetos A e B for diferente, uma entrada de registro que um coletor de registros no projeto A encaminha para o projeto B não será enviada aos gravadores agregados na hierarquia de recursos do projeto B.
    • Se os projetos A e B tiverem a mesma hierarquia de recursos, as entradas de registro serão enviadas aos coletores agregados nessa hierarquia. Se uma entrada de registro não for interceptada por um coletor agregado, o roteador de registros vai enviar a entrada para os coletores no projeto A.

Antes de começar

As instruções neste documento descrevem a criação e o gerenciamento de coletores no nível do projetoGoogle Cloud . Você pode usar o mesmo procedimento para criar um coletor que roteia entradas de registro originadas em uma organização, pasta ou conta de faturamento.

Para começar, faça o seguinte:

  1. Enable the Cloud Logging API.

    Enable the API

  2. Verifique se o projeto Google Cloud contém entradas de registro que podem ser vistas no Explorador de registros.

  3. Para receber as permissões necessárias para criar, modificar ou excluir um gravador, peça ao administrador para conceder a você o papel do IAM de Gravador de configuração de registros (roles/logging.configWriter) no projeto. Para mais informações sobre a concessão de papéis, consulte Gerenciar o acesso a projetos, pastas e organizações.

    Também é possível conseguir as permissões necessárias por meio de papéis personalizados ou de outros papéis predefinidos.

    Para informações sobre como conceder papéis do IAM, consulte o Guia de controle de acesso do Logging.

  4. Você tem um recurso em um destino compatível ou pode criar um.

    Para encaminhar entradas de registro a um destino, ele precisa existir antes da criação do coletor. É possível criar o destino em qualquer projeto do Google Cloud em qualquer organização.Google Cloud

  5. Antes de criar um coletor, consulte as limitações que se aplicam ao destino do coletor. Para mais informações, consulte a seção Limitações de destino neste documento.

  6. Select the tab for how you plan to use the samples on this page:

    Console

    When you use the Google Cloud console to access Google Cloud services and APIs, you don't need to set up authentication.

    gcloud

      In the Google Cloud console, activate Cloud Shell.

      Activate Cloud Shell

      At the bottom of the Google Cloud console, a Cloud Shell session starts and displays a command-line prompt. Cloud Shell is a shell environment with the Google Cloud CLI already installed and with values already set for your current project. It can take a few seconds for the session to initialize.

      REST

      Para usar as amostras da API REST nesta página em um ambiente de desenvolvimento local, use as credenciais fornecidas para a CLI gcloud.

        After installing the Google Cloud CLI, initialize it by running the following command: 

        gcloud init

        If you're using an external identity provider (IdP), you must first sign in to the gcloud CLI with your federated identity.

      Para mais informações, consulte Autenticar para usar REST na documentação de autenticação do Google Cloud .

      Criar um coletor

      Nesta seção, descrevemos como criar um gravador em um projeto Google Cloud . É possível criar até 200 coletores por projeto do Google Cloud . Para conferir o número e o volume de entradas de registro encaminhadas, consulte as métricas logging.googleapis.com/exports/.

      Use a linguagem de consulta do Logging para criar uma expressão de filtro que corresponda às entradas de registro que você quer incluir. Não coloque informações sensíveis em filtros de coletor. Os filtros de gravador são tratados como dados de serviço.

      Quando uma consulta contém várias instruções, é possível especificar como elas são unidas ou confiar no Cloud Logging para adicionar implicitamente a restrição conjuntiva, AND, entre as instruções. Por exemplo, suponha que uma consulta ou caixa de diálogo de filtro contenha duas instruções, resource.type = "gce_instance" e severity >= "ERROR". A consulta real é resource.type = "gce_instance" AND severity >= "ERROR". O Cloud Logging oferece suporte a restrições disjuntivas, OR, e conjuntivas, AND. Ao usar instruções OR, recomendamos que você agrupe as cláusulas com parênteses.

      Para criar um coletor, faça o seguinte:

      Console

      1. No console Google Cloud , acesse a página Roteador de registros:

        Acessar o roteador de registros

        Se você usar a barra de pesquisa para encontrar essa página, selecione o resultado com o subtítulo Logging.

      2. Selecione o projeto Google Cloud em que as entradas de registro que você quer encaminhar foram criadas.

        Por exemplo, se você quiser encaminhar as entradas de registro de acesso a dados do projeto Project-A para um bucket de registros no projeto Project-B, selecione Project-A.

      3. Selecione Criar coletor.

      4. No painel Detalhes do coletor, insira os seguintes detalhes:

        • Nome do coletor: forneça um identificador para o coletor. Depois de criar o coletor, não será possível renomeá-lo, mas será possível excluí-lo e criar um novo coletor.

        • Descrição do coletor (opcional): descreva a finalidade ou o caso de uso do coletor.

      5. No painel Destino do coletor, selecione o serviço de coletor e o destino usando o menu Selecionar serviço do coletor. Faça uma das seguintes ações:

        • Para encaminhar entradas de registro a um serviço que está no mesmo projetoGoogle Cloud , selecione uma das seguintes opções:

          • Conjunto de dados do BigQuery: selecione ou crie o conjunto de dados gravável para receber as entradas de registro roteadas. Você também tem a opção de usar tabelas particionadas.
          • Bucket do Cloud Storage: selecione ou crie o bucket específico do Cloud Storage para receber as entradas de registro roteadas.
          • Tópico do Pub/Sub: selecione ou crie o tópico específico para receber as entradas de registro roteadas.
          • Splunk: selecione o tópico do Pub/Sub do serviço Splunk.

        • Para encaminhar entradas de registro para um projeto Google Cloud diferente, selecione projetoGoogle Cloud e insira o nome completo do destino:

          logging.googleapis.com/projects/DESTINATION_PROJECT_ID

        • Para encaminhar entradas de registro a um serviço em umGoogle Cloud projeto diferente, faça o seguinte:

          1. Selecione Outro recurso.
          2. Insira o nome totalmente qualificado do destino. Para informações sobre a sintaxe, consulte os Formatos de caminho de destino.

      6. Especifique as entradas de registro a serem incluídas:

        1. Acesse o painel Escolher registros para incluir no coletor.

        2. No campo Criar filtro de inclusão, insira uma expressão de filtro que corresponda às entradas de registro que você quer incluir. Para saber mais sobre a sintaxe para escrever filtros, consulte Linguagem de consulta do Logging.

          Se você não definir um filtro, todas as entradas de registro do recurso selecionado serão roteadas para o destino.

          Por exemplo, para encaminhar todas as entradas de registro de acesso a dados para um bucket do Logging, use o seguinte filtro:

          log_id("cloudaudit.googleapis.com/data_access") OR log_id("externalaudit.googleapis.com/data_access")

          O comprimento de um filtro não pode exceder 20.000 caracteres.

        3. Para conferir se você inseriu o filtro correto, selecione Visualizar registros. O Explorador de registros é aberto em uma nova guia com o filtro pré-preenchido.

      7. (Opcional) Configure um filtro de exclusão para eliminar algumas das entradas de registro incluídas:

        1. Acesse o painel Escolher registros para filtrar do coletor.

        2. No campo Nome do filtro de exclusão, insira um nome.

        3. No campo Criar um filtro de exclusão, insira uma expressão de filtro que corresponda às entradas de registro que você quer excluir. Também é possível usar a função sample para selecionar uma parte das entradas de registro a serem excluídas.

        É possível criar até 50 filtros de exclusão por coletor. O comprimento de um filtro não pode exceder 20.000 caracteres.

      8. Selecione Criar coletor.

      9. Conceda à conta de serviço do coletor permissão para gravar entradas de registro no destino do coletor. Para mais informações, consulte Definir permissões de destino.

      gcloud

      Para criar um coletor, faça o seguinte:

      1. Execute este comando gcloud logging sinks create:

        gcloud logging sinks create SINK_NAME SINK_DESTINATION

        Antes de executar o comando, faça estas substituições:

        • SINK_NAME: o nome do coletor de registros. Não é possível mudar o nome de um gravador depois de criá-lo.

        • SINK_DESTINATION: o serviço ou projeto para onde você quer que as entradas de registro sejam roteadas. Defina SINK_DESTINATION com o caminho adequado, conforme descrito em Formatos de caminho de destino.

          Por exemplo, se o destino do coletor for um tópico do Pub/Sub, SINK_DESTINATION será semelhante a:

          pubsub.googleapis.com/projects/PROJECT_ID/topics/TOPIC_ID

        Você também pode fornecer as seguintes opções:

        • --log-filter : use essa opção para definir um filtro que corresponda às entradas de registro que você quer incluir no coletor. Se você não fornecer um valor para o filtro de inclusão, ele vai corresponder a todas as entradas de registro.
        • --exclusion: use essa opção para definir um filtro de exclusão para entradas de registro que você quer excluir do roteamento do coletor. Também é possível usar a função sample para selecionar uma parte das entradas de registro a serem excluídas. Essa opção pode ser repetida. É possível criar até 50 filtros de exclusão por coletor.
        • --description: use essa opção para descrever a finalidade ou o caso de uso do coletor.

        Por exemplo, para criar um coletor para um bucket do Logging, seu comando pode ter esta aparência:

        gcloud logging sinks create my-sink logging.googleapis.com/projects/myproject123/locations/global/buckets/my-bucket \
 --log-filter='logName="projects/myproject123/logs/matched"' --description="My first sink"

        Para mais informações sobre como criar gravadores usando a Google Cloud CLI, consulte a referência gcloud logging sinks.

      2. Se a resposta do comando contiver uma chave JSON chamada "writerIdentity", conceda à conta de serviço do coletor a permissão para gravar no destino do coletor. Para mais informações, consulte Definir permissões de destino.

        Não é necessário definir permissões de destino quando a resposta não contém uma chave JSON chamada "writerIdentity".

      REST

      1. Para criar um coletor de geração de registros no seu projeto Google Cloud , use projects.sinks.create na API Logging. No objeto LogSink, forneça os valores necessários apropriados no corpo da solicitação do método:

        • name: um identificador do coletor. Depois de criar o coletor, não será possível renomear o coletor, mas você poderá excluí-lo e criar um novo coletor.

        • destination: o serviço e o destino para onde você quer que as entradas de registro sejam roteadas. Para rotear entradas de registro para um projeto diferente ou para um destino em outro projeto, defina o campo destination com o caminho apropriado, conforme descrito em Formatos de caminho de destino.

          Por exemplo, se o destino do coletor for um tópico do Pub/Sub, o destination será semelhante a este:

          pubsub.googleapis.com/projects/PROJECT_ID/topics/TOPIC_ID

      2. No objeto LogSink, forneça as informações opcionais adequadas:

        • filter : defina o campo filter para corresponder às entradas de registro que você quer incluir no coletor. Se você não definir um filtro, todas as entradas de registro do seu projetoGoogle Cloud serão roteadas para o destino. O comprimento de um filtro não pode exceder 20.000 caracteres.
        • exclusions: defina esse campo para corresponder às entradas de registro que você quer excluir do coletor. Também é possível usar a função sample para selecionar uma parte das entradas de registro a serem excluídas. É possível criar até 50 filtros de exclusão por coletor.
        • description: defina esse campo para descrever a finalidade ou o caso de uso do coletor.

      3. Chame projects.sinks.create para criar o coletor.

      4. Se a resposta da API contiver uma chave JSON chamada "writerIdentity", conceda à conta de serviço do gravador a permissão para gravar no destino do gravador. Para mais informações, consulte Definir permissões de destino.

        Não é necessário definir permissões de destino quando a resposta da API não contém uma chave JSON rotulada como "writerIdentity".

      Para mais informações sobre como criar coletores usando a API Logging, consulte a referência LogSink.

      Se você receber notificações de erro, consulte Resolver problemas de roteamento e coletores.

      Formatos de caminho de destino

      Se você encaminhar entradas de registro para um serviço em outro projeto, forneça ao coletor o nome totalmente qualificado do serviço. Da mesma forma, se você encaminhar entradas de registro para um projeto Google Cloud diferente, forneça o nome totalmente qualificado do projeto de destino ao gravador:

      • Bucket de registros do Cloud Logging:

        logging.googleapis.com/projects/DESTINATION_PROJECT_ID/locations/LOCATION/buckets/BUCKET_NAME

      • Outro projeto do Google Cloud :

        logging.googleapis.com/projects/DESTINATION_PROJECT_ID

      • Conjunto de dados do BigQuery:

        bigquery.googleapis.com/projects/PROJECT_ID/datasets/DATASET_ID

      • Cloud Storage:

        storage.googleapis.com/BUCKET_NAME

      • Tópico do Pub/Sub:

        pubsub.googleapis.com/projects/PROJECT_ID/topics/TOPIC_ID

      Definir permissões de destino

      Nesta seção, descrevemos como conceder permissões do Identity and Access Management ao Logging para gravar entradas de registro no destino do coletor. Para a lista completa de papéis e permissões do Logging, consulte Controle de acesso.

      O Cloud Logging cria uma conta de serviço compartilhada para um recurso quando um gravador é criado, a menos que a conta de serviço necessária já exista. A conta de serviço pode existir porque é usada para todos os coletores no recurso subjacente. Os recursos podem ser um Google Cloud projeto, uma organização, uma pasta ou uma conta de faturamento.

      A identidade do gravador de um gravador é o identificador da conta de serviço associada a ele. Todos os coletores têm uma identidade de gravador, exceto aqueles que gravam em um bucket de registros no mesmo projeto do Google Cloud em que a entrada de registro se origina. Para a última configuração, uma conta de serviço não é necessária. Portanto, o campo identidade do gravador do coletor é listado como None no console. A API e os comandos da Google Cloud CLI não informam uma identidade de gravador.

      As instruções a seguir se aplicam a projetos, pastas, organizações e contas de faturamento:

      Console

      1. Verifique se você tem acesso de proprietário ao projetoGoogle Cloud que contém o destino. Se você não tiver acesso de Proprietário ao destino do coletor, peça a um proprietário do projeto para adicionar a identidade do gravador como um principal.

      2. Para conseguir a identidade de gravador do coletor, um endereço de e-mail, com o novo coletor, faça o seguinte:

        1. No console Google Cloud , acesse a página Roteador de registros:

          Acessar o roteador de registros

          Se você usar a barra de pesquisa para encontrar essa página, selecione o resultado com o subtítulo Logging.

        2. Na barra de ferramentas, selecione o projeto que contém o gravador.
        3. Selecione Menu e depois Ver detalhes do coletor. A identidade do gravador é exibida no painel Detalhes do coletor.

      3. Se o valor do campo writerIdentity contiver um endereço de e-mail, prossiga para a próxima etapa. Quando o valor é None, não é necessário configurar permissões de destino para o coletor.

      4. Copie a identidade do gravador do coletor para a área de transferência.

        O endereço de e-mail identifica o principal. O prefixo serviceAccount: especifica o tipo de conta.

      5. Conceda ao principal especificado na identidade do gravador do coletor a permissão para gravar dados de registro no destino:

        1. No console Google Cloud , acesse a página IAM:

          Acesse o IAM

          Se você usar a barra de pesquisa para encontrar essa página, selecione o resultado com o subtítulo IAM e administrador.

        2. Na barra de ferramentas, verifique se o projeto selecionado é o que armazena o destino ou é o destino do gravador. Por exemplo, se o destino for um bucket de registros, verifique se a barra de ferramentas mostra o projeto que armazena o bucket.

        3. Clique em CONCEDER ACESSO.

        4. Conceda ao principal especificado na identidade do gravador do coletor um papel do IAM com base no destino do coletor de registros:

      gcloud

      1. Verifique se você tem acesso de proprietário ao projetoGoogle Cloud que contém o destino. Se você não tiver acesso de Proprietário ao destino do coletor, peça a um proprietário do projeto para adicionar a identidade do gravador como um principal.

      2. Consiga a conta de serviço do campo writerIdentity no seu coletor:

        gcloud logging sinks describe SINK_NAME

      3. Localize o coletor cujas permissões você quer modificar e, se os detalhes do coletor contiverem uma linha com writerIdentity, siga para a próxima etapa. Quando os detalhes não incluem um campo writerIdentity, não é necessário configurar permissões de destino para o coletor.

        A identidade do gravador para a conta de serviço é semelhante a esta:

        serviceAccount:service-123456789012@gcp-sa-logging.iam.gserviceaccount.com

      4. Conceda à identidade do gravador do coletor a permissão para gravar dados de registros no destino chamando o comando gcloud projects add-iam-policy-binding.

        Antes de usar o comando a seguir, faça as seguintes substituições:

        • PROJECT_ID: o identificador do projeto. Especifique o projeto que armazena o destino do coletor de registros. Quando o destino for um projeto, especifique esse projeto.
        • PRINCIPAL: um identificador do principal a quem você quer conceder o papel. Os identificadores dos principais geralmente têm o seguinte formato: PRINCIPAL-TYPE:ID. Por exemplo, user:my-user@example.com. Para uma lista completa dos formatos que PRINCIPAL pode ter, consulte Identificadores principais.

        • ROLE: um papel do IAM. Conceda à identidade de gravador do coletor um papel do IAM com base no destino do coletor de registros:

        Execute o comando gcloud projects add-iam-policy-binding:

        gcloud projects add-iam-policy-binding PROJECT_ID --member=PRINCIPAL --role=ROLE

      REST

      Recomendamos que você use o console Google Cloud ou a Google Cloud CLI para conceder um papel à conta de serviço.

      Gerenciar coletores

      Depois que os coletores são criados, é possível executar as seguintes ações neles: As mudanças feitas em um gravador podem levar alguns minutos para serem aplicadas:

      • Ver detalhes
      • Atualizar

      • Desativar

        • Não é possível desativar o coletor _Required.
        • É possível desativar o coletor _Default para impedir que ele roteie entradas de registro para o bucket de registros _Default.
        • Se você quiser desativar o coletor _Default para novos Google Cloud projetos ou pastas criados na sua organização, configure as configurações padrão de recursos.

      • Excluir

        • Não é possível excluir os coletores _Default ou _Required.
        • Quando você exclui um coletor, ele não encaminha mais entradas de registro.
        • Se o coletor tiver uma conta de serviço dedicada, a exclusão dele também vai excluir a conta de serviço. Os coletores criados antes de 22 de maio de 2023 têm contas de serviço dedicadas. Os coletores criados a partir de 22 de maio de 2023 têm uma conta de serviço compartilhada. A exclusão do coletor não exclui a conta de serviço compartilhada.

      • Resolver falhas

      • Ver as taxas de erro e volume de registros

      Veja a seguir as instruções para gerenciar um coletor em um projeto Google Cloud . Em vez de um Google Cloud projeto, é possível especificar uma conta de faturamento, pasta ou organização:

      Console

      1. No console Google Cloud , acesse a página Roteador de registros:

        Acessar o roteador de registros

        Se você usar a barra de pesquisa para encontrar essa página, selecione o resultado com o subtítulo Logging.

      2. Na barra de ferramentas, selecione o recurso que contém o gravador. O recurso pode ser um projeto, uma pasta, uma organização ou uma conta de faturamento.

      A página Roteador de registros mostra os coletores no recurso selecionado. Cada linha da tabela contém informações sobre as propriedades de um coletor:

      • Ativado: indica se o estado do coletor está ativado ou desativado.
      • Tipo: o serviço de destino do coletor. por exemplo, Cloud Logging bucket.
      • Nome: o identificador do coletor, conforme fornecido quando o coletor foi criado. Por exemplo, _Default.
      • Descrição: a descrição do coletor, conforme fornecido quando o coletor foi criado.
      • Destino: o nome completo do destino para onde as entradas de registro roteadas são enviadas.
      • Criado: a data e hora em que o coletor foi criado.
      • Última atualização: a data e a hora em que o coletor foi editado pela última vez.
      • Volume: informa o volume total de registros roteados para o coletor de registros. O valor inclui o volume roteado para buckets de registros, projetos ou outros destinos.

      Em cada linha da tabela, o menu Mais ações oferece as seguintes opções:

      • Visualizar detalhes do coletor: exibe o nome, a descrição, o serviço de destino, o destino e os filtros de inclusão e exclusão do coletor. Selecione Editar para abrir o painel Editar coletor.
      • Editar coletor: abre o painel Editar coletor em que é possível atualizar os parâmetros do coletor.
      • Desativar coletor: permite desativar o coletor e parar de rotear entradas de registro para o destino do coletor. Para mais informações sobre como desativar coletores, consulte Parar de armazenar registros em buckets de registros.
      • Ativar coletor: permite que você ative um coletor desativado e reinicie as entradas de registro de roteamento para o destino do coletor.
      • Excluir coletor: permite excluir o coletor e parar de rotear as entradas de registro para o destino do coletor.
      • Resolver problemas do coletor: abre a Análise de registros, em que é possível resolver erros do coletor.
      • Ver as taxas de erro e volume de registro do coletor: abre o Metrics Explorer, onde é possível ver e analisar dados do coletor.

      Para classificar a tabela por uma coluna, selecione o nome dela.

      gcloud

      • Para ver a lista de coletores do projeto Google Cloud , use o comando gcloud logging sinks list, que corresponde ao método da API Logging projects.sinks.list:

        gcloud logging sinks list

        Para visualizar a lista de coletores agregados, use a opção apropriada para especificar o recurso que contém o coletor. Por exemplo, se você criou o coletor no nível da organização, use a opção --organization=ORGANIZATION_ID para listar os coletores da organização.

      • Para descrever um coletor, use o comando gcloud logging sinks describe, que corresponde ao método da API Logging projects.sinks.get:

        gcloud logging sinks describe SINK_NAME

      • Para atualizar um coletor, use o comando gcloud logging sinks update, que corresponde ao método de API projects.sink.update.

        Atualize um coletor para mudar o destino, os filtros e a descrição, ou para desativar ou reativar o coletor:

        gcloud logging sinks update SINK_NAME NEW_DESTINATION --log-filter=NEW_FILTER

        Omita NEW_DESTINATION ou --log-filter se essas partes não mudarem.

        Por exemplo, para atualizar o destino do coletor denominado my-project-sink para um novo destino de bucket do Cloud Storage chamado my-second-gcs-bucket, o comando é semelhante a este:

        gcloud logging sinks update  my-project-sink storage.googleapis.com/my-second-gcs-bucket

      • Para desativar um coletor, use o comando gcloud logging sinks update, que corresponde ao método de API projects.sink.update, e inclua a opção --disabled:

        gcloud logging sinks update SINK_NAME --disabled

        Para reativar o coletor, use o comando gcloud logging sinks update, remova a opção --disabled e inclua a opção --no-disabled:

        gcloud logging sinks update SINK_NAME --no-disabled

      • Para excluir um coletor, use o comando gcloud logging sinks delete, que corresponde ao método de API projects.sinks.delete:

        gcloud logging sinks delete SINK_NAME

        Para mais informações sobre como gerenciar gravadores usando a Google Cloud CLI, consulte a referência gcloud logging sinks.

      REST

      • Para visualizar os coletores do projeto Google Cloud , chame projects.sinks.list.

      • Para visualizar os detalhes de um coletor, chame projects.sinks.get.

      • Para atualizar um coletor, chame projects.sink.update.

        É possível atualizar o destino, os filtros e a descrição de um coletor. Também é possível desativar ou reativar o coletor.

      • Para desativar um coletor, defina o campo disabled no objeto LogSink como true e chame projects.sink.update.

        Para reativar o coletor, defina o campo disabled no objeto LogSink como false e chame projects.sink.update.

      • Para excluir um coletor, chame projects.sinks.delete.

        Para mais informações sobre como gerenciar coletores usando a API Logging, consulte a referência LogSink.

      Parar de armazenar entradas de registro em buckets de registros

      É possível desativar o coletor _Default e qualquer coletor definido pelo usuário. Quando você desativa um coletor, ele para de rotear entradas de registro para o destino. Por exemplo, se você desativar o coletor _Default, nenhuma entrada de registro será roteada para o bucket _Default. O bucket _Default fica vazio quando todas as entradas de registro armazenadas anteriormente atendem ao período de retenção do bucket.

      As instruções a seguir ilustram como desativar os coletores de projeto do Google Cloud que encaminham entradas de registro para os buckets de registro do_Default:

      Console

      1. No console Google Cloud , acesse a página Roteador de registros:

        Acessar o roteador de registros

        Se você usar a barra de pesquisa para encontrar essa página, selecione o resultado com o subtítulo Logging.

      2. Para encontrar todos os coletores que encaminham entradas de registro para o bucket de registros _Default, filtre os coletores por destino e insira _Default.

      3. Para cada coletor, selecione Menu e depois Desativar coletor.

        Os coletores agora estão desativados, e os coletores do projeto Google Cloud não encaminham mais entradas de registro para o bucket _Default.

      Para reativar um coletor desativado e reiniciar as entradas de registro de roteamento para o destino do coletor, faça o seguinte:

      1. No console Google Cloud , acesse a página Roteador de registros:

        Acessar o roteador de registros

        Se você usar a barra de pesquisa para encontrar essa página, selecione o resultado com o subtítulo Logging.

      2. Para encontrar todos os coletores que encaminham entradas de registro para o bucket de registros _Default, filtre os coletores por destino e insira _Default.
      3. Para cada coletor, selecione Menu e depois Ativar coletor.

      gcloud

      1. Para ver a lista de coletores do projeto Google Cloud , use o comando gcloud logging sinks list, que corresponde ao método da API Logging projects.sinks.list:

        gcloud logging sinks list

      2. Identifique os coletores que estão roteando para o bucket de registros _Default. Para descrever um coletor, incluindo a visualização do nome do destino, use o comando gcloud logging sinks describe, que corresponde ao método da API Logging projects.sinks.get:

        gcloud logging sinks describe SINK_NAME

      3. Execute o comando gcloud logging sinks update e inclua a opção --disabled. Por exemplo, para desativar o coletor _Default, use o seguinte comando:

        gcloud logging sinks update _Default  --disabled

        O coletor _Default agora está desativado. Ele não encaminha mais entradas de registro para o bucket de registros _Default.

      Para desativar os outros coletores no projeto Google Cloud que estão roteando para o bucket _Default, repita as etapas anteriores.

      Para reativar um coletor, use o comando gcloud logging sinks update, remova a opção --disabled e inclua a opção --no-disabled:

      gcloud logging sinks update _Default  --no-disabled

      REST

      1. Para visualizar os coletores do projeto Google Cloud , chame o método da API Logging projects.sinks.list.

        Identifique os coletores que estão roteando para o bucket _Default.

      2. Por exemplo, para desativar o coletor _Default, defina o campo disabled no objeto LogSink como true e chame projects.sink.update.

        O coletor _Default agora está desativado. Ele não encaminha mais entradas de registro para o bucket _Default.

      Para desativar os outros coletores no projeto Google Cloud que estão roteando para o bucket _Default, repita as etapas anteriores.

      Para reativar um coletor, defina o campo disabled no objeto LogSink como false e chame projects.sink.update.

      Amostras de código

      Para usar o código da biblioteca de cliente para configurar coletores nos idiomas escolhidos, consulte Bibliotecas de cliente do Logging: coletores de registros.

      Exemplos de filtros

      Veja a seguir alguns exemplos de filtro que são particularmente úteis ao criar coletores. Para outros exemplos que podem ser úteis ao criar seus filtros de inclusão e de exclusão, consulte Amostra de consultas.

      Restaurar o filtro do coletor _Default

      Se você editou o filtro para o coletor _Default, talvez queira restaurar esse coletor à configuração original. Quando criado, o coletor _Default é configurado com o seguinte filtro de inclusão e um filtro de exclusão vazio:

        NOT log_id("cloudaudit.googleapis.com/activity") AND NOT \
  log_id("externalaudit.googleapis.com/activity") AND NOT \
  log_id("cloudaudit.googleapis.com/system_event") AND NOT \
  log_id("externalaudit.googleapis.com/system_event") AND NOT \
  log_id("cloudaudit.googleapis.com/access_transparency") AND NOT \
  log_id("externalaudit.googleapis.com/access_transparency")

      Excluir registros de contêiner e de pod do Google Kubernetes Engine

      Para excluir as entradas de registro de contêiner e pod do Google Kubernetes Engine do sistema GKE namespaces, use o filtro a seguir:

      resource.type = ("k8s_container" OR "k8s_pod")
resource.labels.namespace_name = (
"cnrm-system" OR
"config-management-system" OR
"gatekeeper-system" OR
"gke-connect" OR
"gke-system" OR
"istio-system" OR
"knative-serving" OR
"monitoring-system" OR
"kube-system")

      Para excluir as entradas de registro de nó do Google Kubernetes Engine do sistema GKE logNames, use o filtro a seguir:

      resource.type = "k8s_node"
logName:( "logs/container-runtime" OR
"logs/docker" OR
"logs/kube-container-runtime-monitor" OR
"logs/kube-logrotate" OR
"logs/kube-node-configuration" OR
"logs/kube-node-installation" OR
"logs/kubelet" OR
"logs/kubelet-monitor" OR
"logs/node-journal" OR
"logs/node-problem-detector")

      Para conferir o volume de entradas de registro de nós, pods e contêineres do Google Kubernetes Engine armazenadas em buckets de registros, use o Metrics Explorer:

      Exclua registros de Dataflow que não são necessários para compatibilidade

      Para excluir as entradas de registro do Dataflow que não são necessárias para suporte, use o seguinte filtro:

      resource.type="dataflow_step"
labels."dataflow.googleapis.com/log_type"!="system" AND labels."dataflow.googleapis.com/log_type"!="supportability"

      Para ver o volume de registros do Dataflow armazenados em buckets de registros, use o Metrics Explorer.

      Compatibilidade

      Embora o Cloud Logging permita excluir entradas de registro e impedir que elas sejam armazenadas em um bucket de registros, considere manter entradas que ajudem na capacidade de suporte. O uso dessas entradas de registro pode ajudar você a resolver e identificar problemas com seus aplicativos.

      Por exemplo, as entradas de registro do sistema do GKE são úteis para solucionar problemas de aplicativos e clusters do GKE porque são geradas para eventos que acontecem no cluster. Essas entradas de registro podem ajudar você a determinar se o código do aplicativo ou o cluster subjacente do GKE está causando o erro do aplicativo. Os registros do sistema do GKE também incluem o Kubernetes Audit Logging gerado pelo componente servidor da API Kubernetes, que inclui alterações feitas usando o comando kubectl e os eventos do Kubernetes.

      Para o Dataflow, recomendamos que você, no mínimo, grave os registros do sistema (labels."dataflow.googleapis.com/log_type"="system") e de capacidade de suporte (labels."dataflow.googleapis.com/log_type"="supportability") em buckets de registros. Esses registros são essenciais para que os desenvolvedores possam observar e solucionar problemas nos pipelines do Dataflow, e os usuários talvez não consigam usar a página Detalhes do job do Dataflow para ver os registros do job.

      A seguir