Instalar e configurar o encaminhador

Neste documento, descrevemos como instalar e configurar o encaminhador do Google Security Operations em sistemas Linux e Windows usando o Docker.

O encaminhador é um componente de software que pode ser instalado em uma máquina ou dispositivo, como um servidor, na sua rede. Ele coleta dados de registro e os encaminha para sua instância do Google SecOps.

É possível usar o encaminhador para enviar registros diretamente do seu ambiente para o Google SecOps, sem a necessidade de buckets do Cloud ou APIs de terceiros para tipos de registros não compatíveis. O encaminhador serve como uma solução pronta para implantação, eliminando a necessidade de integração manual com a API de ingestão.

O Google SecOps oferece um contêiner do Docker para implantação segura de encaminhador. É possível executar e gerenciar o contêiner do Docker em máquinas físicas ou virtuais.

Requisitos do sistema

Confira algumas recomendações gerais. Para recomendações específicas ao seu sistema, entre em contato com o suporte do Google SecOps.

Sistema Linux

O encaminhador é compatível com várias distribuições Linux, como Debian, Ubuntu, Red Hat e Suse. Para um desempenho ideal, é necessário usar o Docker versão 20.10.21 ou mais recente.

• RAM: é necessário 1 GB de RAM para cada tipo de dados coletados que o Google SecOps aceita para ingestão. Por exemplo, se você especificar quatro coletores diferentes, precisará de 4 GB de RAM para coletar dados para todos os quatro.

• CPU: duas CPUs são suficientes para processar até 10.000 eventos por segundo (EPS) em todos os tipos de dados. Se você prevê que o encaminhador vai processar mais de 10.000 EPS, aloque de quatro a seis CPUs.

• Disco: recomenda-se 20 GB de espaço em disco, independente da quantidade de dados que o encaminhador processa.

Sistema Windows

O encaminhador é compatível com o Microsoft Windows Server 2022. Para um desempenho ideal, é necessário usar a versão 20.10.21 ou mais recente do Docker.

• RAM: 1,5 GB de RAM é necessário para cada tipo de dado coletado que o Google SecOps aceita para ingestão. Por exemplo, se você especificar quatro coletores diferentes, precisará de 6 GB de RAM para coletar dados para todos os quatro.

• CPU: duas CPUs são suficientes para processar até 10.000 eventos por segundo (EPS) em todos os tipos de dados. Se você prevê que o encaminhador vai processar mais de 10.000 EPS, aloque de quatro a seis CPUs.

• Disco: recomenda-se 20 GB de espaço em disco, independente da quantidade de dados que o encaminhador processa.

Antes de começar

Antes de iniciar a implementação do encaminhador, considere o seguinte.

Intervalos de endereços IP do Google

Ao configurar o encaminhador, talvez seja necessário ajustar as configurações de firewall que envolvem a especificação de intervalos de endereços IP. Os intervalos de IP de domínio padrão usados pelas APIs e pelos serviços do Google são alocados dinamicamente e mudam com frequência. Consulte Acessar intervalos de endereços IP do Google para mais informações.

Verificar a configuração do firewall

Se o contêiner encaminhador estiver atrás de firewalls ou proxies autenticados, será necessário abrir o acesso aos seguintes hosts:

Planejar a implementação

Antes de começar a configurar o encaminhador, planeje sua implementação. Isso vai ajudar você a alinhar suas fontes de dados e atributos de configuração com seus objetivos de segurança, recursos de infraestrutura e requisitos de escalonabilidade.

Determine os dados a serem ingeridos

Identifique as fontes de dados mais relevantes para seu encaminhador entre as seguintes opções:

• Splunk: ideal se você já usa o Splunk para gerenciamento de registros.

• Syslog: versátil para registros de sistema e aplicativos de vários dispositivos.

• Arquivo: flexível para ingerir qualquer arquivo de registro.

• Pacote: oferece visibilidade profunda da rede capturando o tráfego bruto.

• Kafka: ideal para agregação de registros de alto volume e em tempo real de sistemas distribuídos.

• WebProxy: ideal para insights sobre tráfego da Web e comportamento do usuário.

Limitação

Os feeds de dados têm um tamanho máximo de linha de registro de 4 MB.

Determinar a configuração

Antes de instalar o encaminhador, determine os seguintes atributos principais para garantir uma implementação bem-sucedida.

Compactação de dados

A compactação de dados ou registros reduz o consumo de largura de banda da rede ao transferir registros para o Google SecOps. No entanto, isso pode aumentar o uso da CPU. O equilíbrio ideal entre economia de largura de banda e uso da CPU depende de vários fatores, como tipo de registro, capacidade de compactação dos dados, recursos de CPU disponíveis e restrições de largura de banda da rede.

Por exemplo, os registros baseados em texto geralmente são bem compactados e podem gerar uma economia substancial de largura de banda com baixo uso da CPU. Já os dados criptografados ou binários podem não ser compactados com eficiência e gerar um uso maior da CPU.

Por padrão, a compactação de registros está desativada. Avalie a troca com base no seu ambiente específico e na natureza dos dados de registro.

Buffer de disco

Recomendamos ativar o armazenamento em buffer de disco. O buffer de disco permite armazenar mensagens atrasadas no disco em vez de na memória, protegendo contra perda de dados em caso de falhas no encaminhador ou no host. No entanto, a ativação do armazenamento em buffer de disco pode afetar o desempenho.

Se o buffer de disco estiver desativado, o encaminhador vai alocar 1 GB de memória (RAM) para cada tipo de registro (por exemplo, por conector). A memória máxima permitida para buffer de disco é de 4 GB.

Filtros de expressão regular

Com os filtros de expressão regular, é possível filtrar registros comparando padrões com os dados brutos de registro. Os filtros usam a sintaxe RE2. Os filtros precisam incluir uma expressão regular e, opcionalmente, definir um comportamento quando houver uma correspondência.

Rótulos arbitrários

Os rótulos são usados para anexar metadados personalizados aos registros usando pares de chave-valor. É possível configurar rótulos para um encaminhador inteiro ou em um coletor específico do encaminhador. Se os dois estiverem presentes, os rótulos no nível do coletor vão substituir os rótulos no nível do encaminhador se as chaves se sobrepuserem.

Namespaces

É possível usar rótulos de namespace para identificar registros de segmentos de rede distintos e evitar conflitos de endereços IP sobrepostos. É possível configurar um rótulo de namespace para um encaminhador inteiro ou em um coletor específico dele. Se os dois estiverem presentes, o namespace no nível do coletor vai substituir o namespace no nível do encaminhador.

Tipo de registro

O Google SecOps é compatível com vários tipos de registros. Para uma lista completa, consulte Conjuntos de dados compatíveis.

Opções de balanceamento de carga e alta disponibilidade

O balanceamento de carga é compatível apenas com o tipo de coleta syslog.

O encaminhador pode ser implantado em ambientes em que um balanceador de carga da camada 4 está instalado entre a fonte de dados e as instâncias do encaminhador. Isso permite distribuir a coleta de registros em vários encaminhadores, aumentando a confiabilidade ao redirecionar os registros para um encaminhador diferente em caso de falha.

O encaminhador tem um servidor HTTP integrado que responde a verificações de integridade de balanceadores de carga e evita a perda de registros durante a inicialização e o encerramento. É possível configurar o servidor HTTP, o balanceamento de carga e as opções de alta disponibilidade para especificar durações de tempo limite e códigos de status para verificações de integridade. Essa configuração é compatível com implantações baseadas em contêineres e balanceadores de carga.

Etapa 1: definir a configuração do encaminhador

Cada encaminhador implantado requer um arquivo de configuração. Um arquivo de configuração de encaminhador especifica as configurações para transferir os dados para sua instância do Google SecOps. Recomendamos que você gere um novo arquivo de configuração para cada host para manter distinções claras entre os coletores associados a cada um.

OGoogle Cloud personaliza esses arquivos de configuração com metadados específicos para cada instância de encaminhador. É possível modificar esses arquivos para atender aos seus requisitos específicos e incorporar detalhes sobre os tipos de registros que você quer ingerir.

É possível gerar um arquivo de configuração de encaminhador pela UI, pela API ou manualmente.

• A interface fornece uma interface gráfica para configurar encaminhadores e é o método recomendado para criar uma configuração de encaminhador. Essa é a maneira mais fácil de começar e não exige programação. Para fazer o download do arquivo de configuração usando a interface de usuário do Google SecOps, consulte Gerenciar configurações de encaminhador na interface do Google SecOps.

• A API oferece uma maneira programática de configurar encaminhadores. Para fazer o download da configuração do encaminhador de forma programática, consulte a API Forwarder Management.

• É possível criar o arquivo de configuração manualmente e adicionar as opções de configuração a ele. Recomendamos usar o método da UI para gerar o arquivo de configuração e garantir a precisão e minimizar possíveis erros. Para gerar o arquivo manualmente, consulte Gerenciar o arquivo de configuração do encaminhador manualmente.

Etapa 2: instalar o Docker

Nesta seção, descrevemos como instalar o Docker no seu sistema.

Autenticação do Docker com o Artifact Registry

Como parte da instalação do Docker, é necessário autenticar o Docker. É possível autenticar o Docker usando a interface de linha de comando (CLI) do Google Cloud ou, se não for possível instalar a Google Cloud CLI, criando um novo JSON de conta de serviço na VM.

Método 1: usar a interface de linha de comando (CLI) da Google Cloud CLI

Execute o seguinte comando para autenticar o Docker:

gcloud auth configure-docker gcr.io

Método 2: crie e faça o download de um novo JSON de conta de serviço na máquina virtual (VM).

Use esse método se não for possível instalar a Google Cloud CLI (interface de linha de comando).

Execute o seguinte comando para autenticar o Docker:

cat key.json | docker login -u _json_key --password-stdin https://gcr.io

Para saber mais sobre outros métodos de autenticação do Docker, consulte : Configurar a autenticação no Artifact Registry para o Docker

Sistema Linux

O Docker é de código aberto, e toda a documentação necessária está disponível na comunidade de código aberto do Docker. Para instruções sobre a instalação do Docker, consulte Instalar o Docker Engine.

Para verificar se o Docker está instalado corretamente no seu sistema, execute o seguinte comando (requer privilégios elevados):

   docker ps
  

A resposta a seguir indica que o Docker foi instalado corretamente:

CONTAINER ID IMAGE COMMAND CREATED STATUS PORTS NAMES

Sistema Windows

Inicie o Windows PowerShell com privilégios de administrador e verifique a conectividade de rede com Google Cloud seguindo estas etapas:

1. Clique em Iniciar.

2. Digite PowerShell e clique com o botão direito do mouse em Windows PowerShell.

3. Clique em Executar como administrador.

4. Execute este comando:

   C:\> test-netconnection <host> -port <port>
   

   A resposta ao comando indica que o status de TcpTestSucceeded é true.

   Exemplo:

   C:\> test-netconnection malachiteingestion-pa.googleapis.com -port 443
   ComputerName     :  malachiteingestion-pa.googleapis.com
   RemoteAddress    : 198.51.100.1
   RemotePort       : 443
   InterfaceAlias   : Ethernet
   SourceAddress    : 203.0.113.1
   TcpTestSucceeded : True
   

Para instalar o Docker, faça o seguinte no seu servidor Windows.

1. Ative o recurso de contêiner do Microsoft Windows:

   Install-WindowsFeature containers -Restart
   

2. Execute o seguinte comando no modo de administrador do PowerShell para instalar o Docker CE:

   Invoke-WebRequest -UseBasicParsing "https://raw.githubusercontent.com/microsoft/Windows-Containers/Main/helpful_tools/Install-DockerCE/install-docker-ce.ps1" -o install-docker-ce.ps1
   
   .\install-docker-ce.ps1
   
   

3. Teste a interface de linha de comando do Docker executando o comando docker ps, que retorna uma lista de contêineres em execução. Se o Docker não estiver instalado corretamente, um erro será exibido.

   Para mais informações, consulte Primeiros passos: preparar o Windows para contêineres.

   Para implantações empresariais, instale o Mirantis Container Runtime, também conhecido como Docker EE.

Etapa 3: instalar o encaminhador

Esta seção descreve como instalar o encaminhador usando um contêiner do Docker.

Etapa 3a: mover arquivos de configuração para o diretório do encaminhador

A primeira etapa do processo de instalação do encaminhador envolve colocar os arquivos de configuração necessários no diretório designado.

Sistema Linux

Coloque os arquivos de configuração no diretório do encaminhador seguindo estas etapas:

1. Conecte-se ao host encaminhador do Linux usando o terminal.

2. Mude para o diretório inicial que executa o contêiner do Docker.

3. Crie um diretório para armazenar os arquivos de configuração do encaminhador.

     mkdir /opt/chronicle/'CONFIG'
   

   Você pode substituir o nome do diretório, CONFIG, por qualquer nome que quiser. Use o mesmo nome de diretório ao executar o comando docker run.

4. Mude o diretório.

     cd /opt/chronicle/config
   

5. Depois que os arquivos forem transferidos, verifique se os arquivos de configuração estão localizados no diretório /opt/chronicle/config.

     ls -l
   

Sistema Windows

Crie uma pasta C:\config e coloque os arquivos de configuração nela. Você pode substituir o nome da pasta, config, por qualquer nome que quiser. Use o mesmo nome de pasta ao executar o comando docker run.

Etapa 3b: executar o encaminhador

Depois que os arquivos de configuração forem colocados no diretório designado do encaminhador, você poderá iniciar o encaminhador ou fazer upgrade para a versão mais recente do contêiner do Google SecOps.

Se você estiver fazendo upgrade do contêiner, limpe as execuções anteriores do Docker executando os comandos a seguir.

      docker stop 'cfps'
    

      docker rm 'cfps'
    

No exemplo, o nome do contêiner do Docker é cfps.

Para iniciar o encaminhador pela primeira vez ou fazer upgrade para a versão mais recente do contêiner do Google SecOps, faça o seguinte:

1. Extraia a imagem mais recente do Docker de Google Cloud:

   Sistema Linux:

       docker pull gcr.io/chronicle-container/cf_production_stable
   

   Sistema Windows:

     docker pull gcr.io/chronicle-container/cf_production_stable_windows
   

2. Inicie o encaminhador do contêiner do Docker:

   Sistema Linux:

     docker run \
       --detach \
       --name cfps \
       --restart=always \
       --log-opt max-size=100m \
       --log-opt max-file=10 \
       --net=host \
       -v /opt/chronicle/config:/opt/chronicle/external \
       gcr.io/chronicle-container/cf_production_stable
       -v /var/log/<parser-name>:/opt/chronicle/edr \
   

   Sistema Windows:

     docker run `
       --detach `
       --name cfps `
       --restart=always `
       --log-opt max-size=100m `
       --log-opt max-file=10 `
       -p 0.0.0.0:10515-10520:10515-10520/udp `
       -v C:\config\:C:/opt/chronicle/external `
       gcr.io/chronicle-container/cf_production_stable_windows
   

As opções --log-opt estão disponíveis desde o Docker 1.13. Essas opções limitam o tamanho dos arquivos de registro do contêiner e precisam ser usadas enquanto a versão do Docker que você usa as aceitar.

Gerenciar o encaminhador

As seções a seguir fornecem orientações sobre como gerenciar o encaminhador.

Ver registros do encaminhador

• Para ver os registros do encaminhador, execute o seguinte comando:

  docker logs cfps
  

• Para conferir o caminho do arquivo em que os registros são armazenados, execute o comando a seguir:

  docker inspect --format='{{.LogPath}}' CONTAINER_NAME
  

• Para ver os registros em execução, execute o seguinte comando:

  docker logs cfps -f
  

• Para armazenar os registros em um arquivo, execute o seguinte comando:

  docker logs cfps &> logs.txt
  

Desinstalar o encaminhador

Os comandos do Docker a seguir ajudam a interromper, desinstalar ou remover o encaminhador.

• Para interromper ou desinstalar o contêiner de encaminhador, execute o seguinte comando:

  docker stop cfps
  

• Para remover o contêiner de encaminhamento, execute o seguinte comando:

  docker rm cfps
  

Atualizar o encaminhador

O encaminhador consiste em dois componentes, cada um com um processo de atualização da seguinte maneira:

• Pacote encaminhador: esse componente é atualizado automaticamente, eliminando a necessidade de uma reinicialização.

• Imagem do Docker do encaminhador: as atualizações desse componente são feitas manualmente. Você precisará interromper a instância de encaminhador atual e iniciar uma nova, conforme descrito na Etapa 3b.

Guias de ingestão de encaminhadores para conjuntos de dados específicos

Para saber como um conjunto de dados específico é ingerido usando encaminhadores, consulte o seguinte:

• Instalar o encaminhador de eventos do Carbon Black
• Coletar registros de firewall do Cisco ASA
• Coletar registros do sensor Corelight
• Coletar registros do Fluentd
• Coletar registros de auditoria do Linux e do sistema Unix
• Coletar dados do Microsoft Windows AD
• Coletar dados do DHCP do Microsoft Windows
• Coletar dados de DNS do Microsoft Windows
• Coletar dados de eventos do Microsoft Windows
• Coletar dados do Sysmon do Microsoft Windows
• Coletar registros do osquery
• Coletar registros do OSSEC
• Coletar registros de firewall da Palo Alto Networks
• Coletar registros do CIM do Splunk
• Coletar registros do Zeek

Precisa de mais ajuda? Receba respostas de membros da comunidade e profissionais do Google SecOps.