Visão geral dos coletores agregados

Este documento descreve os coletores agregados, que permitem reunir e rotear entradas de registro originadas em recursos dentro de uma pasta ou organização para um destino compatível. Recomendamos o uso de gravadores agregados para rotear os dados de registro a um local de armazenamento central.

Sobre os coletores agregados

Um coletor agregado é semelhante a um coletor no nível do projeto, já que ambos contêm filtros e um destino. No entanto, o roteador de registros envia para um coletor agregado as seguintes entradas de registro:

  • Todas as entradas de registro originadas em uma pasta ou organização.
  • Todas as entradas de registro originadas nos recursos filhos da pasta ou organização.

Por exemplo, se você criar um coletor agregado no nível da pasta, o Gravador de registros enviará a esse coletor todas as entradas de registro originadas na pasta ou em recursos filhos dela.

Quando há coletores agregados na hierarquia de recursos de uma entrada de registro, o roteador de registros envia inicialmente a entrada para esses coletores. Como os coletores agregados podem ser interceptores ou não interceptores, o roteador de registros talvez não envie uma entrada de registro roteada por um coletor agregado para os coletores no nível do projeto.

Coletor agregado de interceptação

Um coletor agregado interceptor impede que as entradas de registro sejam roteadas para coletores em recursos filhos, exceto os coletores _Required nos recursos em que as entradas de registro se originam. Um coletor agregado de interceptação pode ser útil para evitar que cópias duplicadas de entradas de registro sejam armazenadas em vários lugares.

Por exemplo, suponha que você precise ativar os registros de auditoria de acesso a dados para fins de auditoria. Para simplificar sua análise, armazene esses registros em um local central. No entanto, por motivos de segurança e custo, também é recomendável evitar que esses registros sejam armazenados no nível do projeto. Para esse cenário, é possível criar um coletor agregado de interceptação.

Coletor agregado não interceptor

Um coletor agregado não interceptador não afeta o roteamento das entradas de registro para outros coletores. Ou seja, mesmo quando uma entrada de registro corresponde ao filtro de um coletor agregado não interceptor, ela é encaminhada para outros coletores na hierarquia de recursos da entrada de registro. Um gravador agregado não interceptador permite manter a visibilidade das entradas de registro nos recursos em que foram geradas.

Por exemplo, é possível criar um coletor agregado não interceptador que roteia todas as entradas de registro geradas nas pastas de uma organização para um bucket de registros central. As entradas de registro são armazenadas no bucket de registros central. No entanto, como o coletor não é interceptador, o Gravador de registros também envia entradas de registro para os coletores no recurso em que foram geradas.

Exemplos de roteamento

Esta seção ilustra como uma entrada de registro originada em um projeto pode fluir pelos coletores na hierarquia de recursos.

Exemplo: não há coletores agregados

Quando não há coletores agregados na hierarquia de recursos da entrada de registro, ela é enviada para os coletores no projeto de origem. Um coletor no nível do projeto encaminha a entrada de registro para o destino do coletor quando ela corresponde ao filtro de inclusão do coletor, mas não corresponde a nenhum dos filtros de exclusão.

Exemplo: existe um coletor agregado não interceptador

Suponha que um coletor agregado não interceptador exista na hierarquia de recursos para uma entrada de registro. Depois que o Log Router envia a entrada de registro para o coletor agregado não interceptador, ocorre o seguinte:

  1. O coletor agregado não interceptador encaminha a entrada de registro para o destino do coletor quando ela corresponde ao filtro de inclusão, mas não a nenhum filtro de exclusão.

  2. O roteador de registros envia a entrada de registro para os coletores no projeto em que ela foi criada.

    Um coletor no nível do projeto encaminha a entrada de registro para o destino do coletor quando ela corresponde ao filtro de inclusão do coletor, mas não corresponde a nenhum dos filtros de exclusão.

Exemplo: existe um coletor agregado interceptor

Suponha que um coletor agregado de interceptação exista na hierarquia de recursos para uma entrada de registro. Depois que o Roteador de registros envia a entrada de registro para o coletor agregado interceptor, uma das seguintes situações ocorre:

  • A entrada de registro corresponde ao filtro de inclusão, mas não a nenhum filtro de exclusão:

    1. A entrada de registro é encaminhada para o destino do coletor agregado interceptor.
    2. A entrada de registro é enviada ao coletor _Required no projeto em que ela foi criada.

  • A entrada de registro não corresponde ao filtro de inclusão ou corresponde a pelo menos um filtro de exclusão:

    1. A entrada de registro não é roteada pelo coletor agregado interceptor.

    2. O roteador de registros envia a entrada de registro para os coletores no projeto em que ela foi criada.

      Um coletor no nível do projeto encaminha a entrada de registro para o destino do coletor quando ela corresponde ao filtro de inclusão do coletor, mas não corresponde a nenhum dos filtros de exclusão.

Destinos compatíveis com coletores agregados

Esta seção lista os destinos compatíveis com coletores agregados.

Coletores de interceptação

O destino de um coletor agregado de interceptação precisa ser um projeto doGoogle Cloud .

Os coletores de registro no projeto de destino redirecionam as entradas de registro para os respectivos destinos. Todos os destinos, exceto projetos, são compatíveis. Por exemplo, os coletores de registros no projeto de destino podem redirecionar entradas de registro para um bucket de registros.

Coletores que não interceptam

O destino de um coletor agregado sem interceptação pode ser qualquer um dos seguintes:

O destino de um coletor pode estar em um recurso diferente do coletor. Por exemplo, é possível usar um coletor de registros para encaminhar entradas de registro de um projeto para um bucket de registros armazenado em outro projeto.

Os seguintes destinos são compatíveis:

Google Cloud projeto

Selecione esse destino quando quiser que os coletores de registros no projeto de destino redirecionem suas entradas de registro ou quando você tiver criado um coletor agregado de interceptação. Os coletores de registros no projeto que é o destino do coletor podem redirecionar as entradas de registro para qualquer destino compatível, exceto um projeto.

Bucket de registros

Selecione esse destino quando quiser armazenar seus dados de registro em recursos gerenciados pelo Cloud Logging. Os dados de registro armazenados em buckets de registro podem ser visualizados e analisados usando serviços como o Explorador de registros e a Análise de registros.

Se você quiser unir seus dados de registro a outros dados comerciais, armazene os dados de registro em um bucket de registros e crie um conjunto de dados vinculado do BigQuery. Um conjunto de dados vinculado é um conjunto de dados somente leitura que pode ser consultado como qualquer outro conjunto de dados do BigQuery.

Conjunto de dados do BigQuery
Selecione esse destino quando quiser combinar seus dados de registros com outros dados da empresa. O conjunto de dados especificado precisa estar habilitado para gravação. Não defina o destino de um coletor como um conjunto de dados vinculado do BigQuery. Os conjuntos de dados vinculados são somente leitura.
Bucket do Cloud Storage
Selecione esse destino quando quiser armazenamento de longo prazo dos dados de registro. O bucket do Cloud Storage pode estar no mesmo projeto em que as entradas de registro foram criadas ou em um projeto diferente. As entradas de registro são armazenadas na forma de arquivos JSON.
Tópico do Pub/Sub
Selecione esse destino quando quiser exportar os dados de registro de Google Cloud e usar integrações de terceiros, como Splunk ou Datadog. As entradas de registro são formatadas em JSON e encaminhadas para um tópico do Pub/Sub.

Práticas recomendadas

Recomendamos que o destino de um coletor agregado seja um projeto do Google Cloud . Com esse destino, os coletores de registros no projeto Google Cloud de destino redirecionam as entradas de registro. O coletor _Required só encaminha entradas de registro que correspondem ao filtro dele e que se originam no recurso em que o coletor está definido. Portanto, se você quiser armazenar outras cópias de entradas de registro que correspondam ao filtro do coletor _Required, crie um coletor de registros personalizado ou modifique o filtro do coletor de registros _Default.

Ao criar um gravador de interceptação, recomendamos que você faça o seguinte:

  • Considere se os recursos filhos precisam de controle independente do roteamento das entradas de registro. Se um recurso filho precisar de controle independente de determinadas entradas de registro, verifique se o gravador de interceptação não encaminha essas entradas.

  • Adicione dados de contato à descrição de um coletor de interceptação. Isso pode ser útil se os responsáveis pelo gerenciamento do coletor de interceptação forem diferentes dos responsáveis pelos projetos cujas entradas de registro estão sendo interceptadas.

  • Teste a configuração do coletor criando primeiro um coletor agregado não interceptador para verificar se as entradas de registro corretas estão sendo roteadas.

Interceptar coletores agregados e métricas com base em registros

As métricas com base em registros são métricas do Cloud Monitoring que são derivadas do conteúdo das entradas de registro. A maneira como uma entrada de registro é encaminhada determina para quais métricas com base em registros ela pode ser contabilizada. Como um gravador agregado interceptor afeta o roteamento das entradas de registro, a criação desse tipo de gravador pode resultar em mudanças nos valores das métricas baseadas em registros.

Para mais informações, consulte Como as entradas de registro de rotas afetam as métricas com base em registros.

Agregação de coletores e VPC Service Controls

As limitações a seguir se aplicam ao usar coletores agregados e o VPC Service Controls:

  • Os coletores agregados podem acessar dados de projetos dentro de um perímetro de serviço. Para impedir que coletores agregados acessem dados em um perímetro, recomendamos usar o IAM para gerenciar as permissões do Logging.

  • O VPC Service Controls não é compatível com a adição de recursos de pasta ou organização a perímetros de serviço. Portanto, não é possível usar o VPC Service Controls para proteger registros no nível da pasta e da organização, incluindo registros agregados. Para gerenciar as permissões do Logging no nível da pasta ou da organização, recomendamos o uso do IAM.

  • Se você encaminhar registros usando um coletor no nível da pasta ou da organização para um recurso protegido por um perímetro de serviço, adicione uma regra de entrada ao perímetro de serviço. A regra de entrada precisa permitir o acesso ao recurso da conta de serviço que o coletor agregado usa. Para mais informações, consulte as páginas a seguir:

  • Ao especificar uma política de entrada ou saída para um perímetro de serviço, não é possível usar ANY_SERVICE_ACCOUNT e ANY_USER_ACCOUNT como um tipo de identidade ao usar um coletor de registros para encaminhar registros a recursos do Cloud Storage. No entanto, é possível usar ANY_IDENTITY como o tipo de identidade.

A seguir