Criar e gerenciar feeds usando a interface de gerenciamento de feeds

Este documento fornece informações sobre como criar, gerenciar e resolver problemas de feeds usando a interface de gerenciamento de feeds. O gerenciamento dos feeds inclui a modificação, a ativação e a exclusão deles.

Antes de começar

Cada feed de dados tem um conjunto de pré-requisitos que precisa ser concluído antes de configurar o feed nas Operações de segurança do Google. Para informações sobre pré-requisitos específicos de um tipo de feed, consulte Configuração por tipo de origem. Pesquise o tipo de feed de dados que você precisa configurar e siga as instruções.

Formatos de compactação aceitos

Os formatos de compactação aceitos para transferência de feeds são: .gz, .tar.gz, .tar, .targz e solr.gz. A tabela a seguir descreve os diferentes tamanhos de arquivo com suporte à transformação de feeds do Google SecOps:

Adicionar um feed

Para adicionar um feed à sua conta do Google SecOps, siga estas etapas:

1. No menu Google SecOps, selecione Configurações e clique em Feeds. Os feeds de dados listados na página Feeds incluem todos os feeds que o Google configurou para sua conta, além dos que você configurou.

2. Clique em Add New. A janela Adicionar feed é exibida.

3. Adicione um nome ao feed.

4. Na lista Tipo de origem, selecione o tipo de origem para importar dados para o Google SecOps. Você pode escolher entre os seguintes tipos de origem de feed:

   • Amazon Data Firehose
   • Amazon S3
   • Amazon S3 (pré-lançamento)
   • Amazon SQS
   • Amazon SQS (pré-lançamento)
   • Armazenamento de blobs do Azure
   • Armazenamento de Blobs do Azure (pré-lançamento)
   • Google Cloud Pub/Sub
   • Cloud Storage
   • Cloud Storage (pré-lançamento)
   • Arquivos HTTP(S) (não API)
   • API de terceiros
   • Webhook

5. Na lista Tipo de registro, selecione o tipo que corresponde aos registros que você quer importar. Os registros disponíveis variam de acordo com o tipo de origem selecionado anteriormente.

   Se você selecionar Cloud Storage como o tipo de origem, use a opção Get service account para receber uma conta de serviço exclusiva. Consulte o exemplo de configuração de feed do Google Cloud Storage.

6. Clique em Próxima.

7. Especifique os parâmetros necessários na guia Parâmetros de entrada. As opções apresentadas aqui variam de acordo com a origem e o tipo de registro selecionados na guia Definir propriedades. Mantenha o cursor sobre o ícone de ponto de interrogação de cada campo para saber mais sobre o que você precisa fornecer.

8. Opcional: é possível especificar um namespace na guia Definir propriedades. Para mais informações sobre namespaces, consulte Trabalhar com namespaces de recursos.

9. Clique em Próxima.

10. Revise a configuração do novo feed na guia Finalizar.

11. Clique em Enviar. O Google SecOps conclui uma verificação de validação do novo feed. Se o feed passar na verificação, um nome será gerado para ele, que será enviado ao Google SecOps, que vai começar a tentar buscar dados.

    

Exemplo de configuração do feed do Google Cloud Storage

1. No menu Google SecOps, selecione Configurações e clique em Feeds.
2. Clique em Add New.
3. Selecione Cloud Storage para Tipo de origem.
4. Selecione o Tipo de registro. Por exemplo, para criar um feed para os registros de auditoria do Google Kubernetes Engine, selecione Registros de auditoria do Google Kubernetes Engine como Tipo de registro.
5. Clique em Receber conta de serviço. O Google SecOps fornece uma conta de serviço exclusiva que ele usa para ingerir dados.
6. Opcional: configure a conta de serviço.Para mais informações, consulte Conceder acesso à conta de serviço do Google SecOps.
7. Clique em Próxima.

8. Com base na configuração do Cloud Storage que você criou, especifique os valores dos seguintes campos:

   • URI do bucket do Storage
   • O URI é um
   • Opção de exclusão da origem

   Para saber mais sobre como configurar buckets do Cloud Storage, consulte Criar buckets.

9. Clique em Próxima e em Enviar.

Lista de permissões de IP

O Storage Transfer Service (STS) é usado pelos seguintes feeds do Google Cloud Storage para transferir dados dos blobstores do Amazon S3 e do Azure Storage para o Google SecOps:

• Amazon S3 (pré-lançamento)
• Amazon SQS (pré-lançamento)
• Armazenamento de Blobs do Azure (versão prévia)

O STS envia solicitações de transferência de dados para os serviços de armazenamento do Amazon S3 e do Azure de um conjunto de intervalos de endereços IP do STS definidos. Esses intervalos de endereços IP do STS são publicados no seguinte arquivo JSON: https://www.gstatic.com/storage-transfer-service/ipranges.json

Para usar esses tipos de origem de feed do STS, talvez seja necessário ativar o acesso aos seus blobstores do Amazon S3 e do Azure Storage para consultas originadas de um endereço IP definido nos intervalos de endereços IP do STS.

Ativar o acesso do STS aos seus serviços de armazenamento do Amazon S3 e do Azure

Talvez seja necessário ajustar as restrições de acesso a IPs para permitir que o STS acesse seus serviços de armazenamento do Amazon S3 e do Azure:

1. Extraia os intervalos de IP mais recentes do arquivo JSON.

   Recomendamos ler os dados desse arquivo JSON pelo menos uma vez por semana para manter a configuração de segurança atualizada. Quando um novo intervalo é adicionado ao arquivo, o sistema aguarda pelo menos sete dias antes de usá-lo para solicitações do STS.

   Para um exemplo de script Python que busca intervalos de IP de um arquivo JSON, consulte Endereços IP para domínios padrão.

2. Compare o intervalo de IP atual creationTime com o intervalo de IP creationTime lido do arquivo JSON anterior. Se forem diferentes, atualize as restrições de acesso a IPs no Amazon S3 e no Azure Storage.

   • Para o Amazon S3

     Para atualizar as restrições de acesso a IPs no blobstore do Amazon S3:

     Se o projeto da AWS usar restrições de IP para acessar o armazenamento, será necessário adicionar os intervalos de IP usados pelos workers do STS à lista de IPs permitidos.

     Para adicionar esses intervalos como IPs permitidos, use o campo Condition em um bucket policy, conforme descrito na documentação do AWS S3: Como gerenciar o acesso com base em endereços IP específicos.

   • Para o Azure Storage

     Para atualizar as restrições de acesso a IPs no blobstore do Azure Storage:

     Se você restringir o acesso aos recursos do Azure usando um firewall do Azure Storage, adicione os intervalos de IP usados pelos workers do STS à lista de IPs permitidos.

     Para adicionar esses intervalos como IPs permitidos, siga estas instruções: Configurar firewalls e redes virtuais do Azure Storage.

Excluir arquivos de origem

A opção de exclusão de origem permite excluir objetos de origem do feed (arquivos e pastas) do armazenamento após uma transferência bem-sucedida. Essa opção está disponível apenas para alguns tipos de origem de feed, incluindo o Cloud Storage. Esses tipos de origem de feed incluem o campo SOURCE DELETION OPTION nos fluxos de trabalho Adicionar novo e Editar feed.

Opções de exclusão de origem

• Para tipos de origem de feed compatíveis, incluindo o Cloud Storage, o campo SOURCE DELETION OPTION oferece estas opções:

  • Nunca excluir arquivos
  • Excluir arquivos transferidos e diretórios vazios
  • Excluir arquivos transferidos

• O Microsoft Azure Blob Storage (AZURE_BLOBSTORE) não oferece suporte à exclusão de arquivos de origem. No campo SOURCE DELETION OPTION, selecione apenas a opção Never delete files.

• Para as seguintes origens de feed ("feedSourceType"): GOOGLE_CLOUD_STORAGE_V2, AMAZON_S3_V2, AMAZON_SQS_V2 e AZURE_BLOBSTORE_V2, o campo SOURCE DELETION OPTION oferece duas opções:

  • NUNCA: nunca exclui arquivos após as transferências.
  • ON_SUCCESS: exclui todos os arquivos e diretórios vazios após a transferência.

Configurar um feed de push do Pub/Sub

Para configurar um feed push do Pub/Sub, faça o seguinte:

1. Crie um feed de push do Pub/Sub.
2. Especifique o URL do endpoint em uma assinatura do Pub/Sub.

Criar um feed de push do Pub/Sub

1. No menu Google SecOps, selecione Configurações e clique em Feeds.
2. Clique em Adicionar novo.
3. No campo Nome do feed, insira um nome para o feed.
4. Na lista Tipo de origem, selecione Push do Google Cloud Pub/Sub.
5. Selecione o Tipo de registro. Por exemplo, para criar um feed para o Open Cybersecurity Schema Framework, selecione Open Cybersecurity Schema Framework (OCSF) como o Tipo de registro.
6. Clique em Próxima.
7. Opcional: especifique valores para os seguintes parâmetros de entrada:
   • Delimitador de divisão: o delimitador usado para separar linhas de registro, como \n.
   • Namespace do recurso: o namespace do recurso.
   • Rótulos de ingestão: o rótulo a ser aplicado aos eventos desse feed.
8. Clique em Próxima.
9. Revise a configuração do novo feed na tela Finalizar e clique em Enviar.
10. Na guia Detalhes, copie o URL do endpoint do feed no campo Informações do endpoint. Você precisa desse URL para criar uma assinatura de push no Pub/Sub.
11. Opcional: clique no botão de alternância Feed ativado para desativar o feed. O feed é ativado por padrão.
12. Clique em Concluído.

Especificar o URL do endpoint

Depois de criar um feed de push do Pub/Sub, especifique o URL do endpoint da seguinte maneira: No Pub/Sub, crie uma assinatura de push e especifique o endpoint HTTPS. Selecione Ativar autenticação e uma conta de serviço.

1. Crie uma assinatura de push no Pub/Sub. Para mais informações sobre como criar uma assinatura push, consulte Criar assinaturas push.
2. Especifique o URL do endpoint, que está disponível no feed de push do Google Cloud Pub/Sub.
3. Selecione Ativar autenticação e escolha uma conta de serviço.

Configurar um feed do Amazon Data Firehose

Para configurar um feed do Amazon Data Firehose, faça o seguinte:

1. Crie um feed da Amazon Data Firehose e copie o URL do endpoint e a chave secreta.
2. Crie uma chave de API para autenticar no Google SecOps. Você também pode reutilizar sua chave de API para fazer a autenticação no Google SecOps.
3. Especifique o URL do endpoint no Amazon Data Firehose.

Criar um feed do Amazon Data Firehose

1. No menu Google SecOps, selecione Configurações e clique em Feeds.
2. Clique em Adicionar novo.
3. No campo Nome do feed, insira um nome para o feed.
4. Na lista Tipo de origem, selecione Amazon Data Firehose.
5. Selecione o Tipo de registro. Por exemplo, para criar um feed para o Open Cybersecurity Schema Framework, selecione Open Cybersecurity Schema Framework (OCSF) como o Tipo de registro.
6. Clique em Próxima.
7. Opcional: especifique valores para os seguintes parâmetros de entrada:
   • Delimitador de divisão: o delimitador usado para separar linhas de registro, como \n.
   • Namespace do recurso: o namespace do recurso.
   • Rótulos de ingestão: o rótulo a ser aplicado aos eventos desse feed.
8. Clique em Próxima.
9. Revise a configuração do novo feed na tela Finalizar e clique em Enviar.
10. Clique em Gerar chave secreta para gerar uma chave secreta para autenticar esse feed.
11. Copie e armazene a chave secreta, porque não será possível acessá-la novamente. Você pode gerar uma nova chave secreta novamente, mas a regeneração da chave secreta torna a chave secreta anterior obsoleta.
12. Na guia Detalhes, copie o URL do endpoint do feed no campo Informações do endpoint. Você vai precisar desse URL de endpoint ao especificar as configurações de destino do seu fluxo de entrega no Amazon Data Firehose.
13. Opcional: clique no botão de alternância Feed ativado para desativar o feed. O feed é ativado por padrão.
14. Clique em Concluído.

Criar uma chave de API para o feed do Amazon Data Firehose

Para criar uma chave de API para o feed do Amazon Data Firehose, faça o seguinte: 1. Acesse a página Credenciais do console do Google Cloud. 1. Clique em Criar credenciais e selecione Chave de API. 1. Restrinja o acesso da chave de API à API Chronicle.

Especificar o URL do endpoint

No Amazon Data Firehose, especifique o endpoint HTTPS e a chave de acesso da seguinte maneira:

1. Anexe a chave da API ao URL do endpoint do feed e especifique esse URL como o URL do endpoint HTTP no seguinte formato:

     ENDPOINT_URL?key=API_KEY
   

   Substitua:

   • ENDPOINT_URL: o URL do endpoint do feed.
   • API_KEY: a chave de API para autenticação no Google SecOps.

2. Para a chave de acesso, especifique a chave secreta que você recebeu ao criar o feed do Amazon Data Firehose.

Configurar um feed de webhook HTTPS

Para configurar um feed de webhook HTTPS, faça o seguinte:

1. Crie um feed de webhook HTTPS e copie o URL do endpoint e a chave secreta.
2. Crie uma chave de API especificada com o URL do endpoint. Também é possível reutilizar a chave de API atual para fazer a autenticação no Google SecOps.
3. Especifique o URL do endpoint no seu aplicativo.

Pré-requisitos

• Verifique se um Google Cloud projeto para o Google SecOps está configurado e se a API Chronicle está ativada para o projeto.

• Vincule uma instância do Google SecOps a Google Cloud serviços.

Criar um feed de webhook HTTPS

1. No menu Google SecOps, selecione Configurações e clique em Feeds.
2. Clique em Adicionar novo.
3. No campo Nome do feed, insira um nome para o feed.
4. Na lista Tipo de origem, selecione Webhook.
5. Selecione o Tipo de registro. Por exemplo, para criar um feed para o Open Cybersecurity Schema Framework, selecione Open Cybersecurity Schema Framework (OCSF) como o Tipo de registro.
6. Clique em Próxima.
7. Opcional: especifique valores para os seguintes parâmetros de entrada:
   • Delimitador de divisão: o delimitador usado para separar linhas de registro, como \n.
   • Namespace do recurso: o namespace do recurso.
   • Rótulos de ingestão: o rótulo a ser aplicado aos eventos desse feed.
8. Clique em Próxima.
9. Revise a configuração do novo feed na tela Finalizar e clique em Enviar.
10. Clique em Gerar chave secreta para gerar uma chave secreta para autenticar esse feed.
11. Copie e armazene a chave secreta, porque não será possível acessá-la novamente. Você pode gerar uma nova chave secreta novamente, mas a regeneração da chave secreta torna a chave secreta anterior obsoleta.
12. Na guia Detalhes, copie o URL do endpoint do feed no campo Informações do endpoint. É necessário especificar esse URL do endpoint no aplicativo cliente.
13. Opcional: clique no botão de alternância Feed ativado para desativar o feed. O feed é ativado por padrão.
14. Clique em Concluído.

Criar uma chave de API para o feed de webhook

1. Acesse a página Credenciais do console do Google Cloud.
2. Clique em Criar credenciais e, em seguida, selecione Chave de API.
3. Restrinja o acesso da chave de API à API Chronicle.

Especificar o URL do endpoint

1. No aplicativo cliente, especifique o endpoint HTTPS, que está disponível no feed do webhook.

2. Ative a autenticação especificando a chave de API e a chave secreta como parte do cabeçalho personalizado neste formato:

   X-goog-api-key = API_KEY

   X-Webhook-Access-Key = SECRET

   Recomendamos que você especifique a chave de API como um cabeçalho em vez de especificar no URL. Se o cliente do webhook não tiver suporte a cabeçalhos personalizados, especifique a chave de API e a chave secreta usando parâmetros de consulta no seguinte formato:

     ENDPOINT_URL?key=API_KEY&secret=SECRET
   

   Substitua:

   • ENDPOINT_URL: o URL do endpoint do feed.
   • API_KEY: a chave de API para autenticação no Google SecOps.
   • SECRET: a chave secreta que você gerou para autenticar o feed.

Conceder acesso à conta de serviço do Google SecOps

1. No Console do Google Cloud, acesse a página Buckets do Cloud Storage.
   

   Acessar buckets

2. Conceda à conta de serviço acesso aos objetos relevantes do Cloud Storage.

   • Para conceder permissão de leitura a um arquivo específico, siga estas etapas:

     1. Selecione o arquivo e clique em Editar acesso.
     2. Clique em Adicionar principal.
     3. No campo Novos principais, insira o nome da conta de serviço do Google SecOps.
     4. Atribua um papel que contenha a permissão de leitura à conta de serviço do Google SecOps. Por exemplo, Leitor de objetos do Storage (roles/storage.objectViewer). Isso só pode ser feito se você não tiver ativado o acesso uniforme no nível do bucket.
     5. Clique em Salvar.

   • Para conceder permissão de leitura a vários arquivos, conceda acesso no nível do bucket da seguinte maneira:

     • Para"feedSourceType": "GOOGLE_CLOUD_STORAGE":
       1. Adicione a conta de serviço do Google SecOps como principal ao seu bucket do Storage e conceda a ela o papel do IAM de Leitor de objetos do Storage (roles/storage.objectViewer).
       2. Se você configurar o feed para excluir arquivos de origem, adicione a conta de serviço do Google SecOps como principal no bucket e conceda a ela o papel Administrador de objetos do Storage (roles/storage.objectAdmin) do IAM.
     • Para"feedSourceType": "GOOGLE_CLOUD_STORAGE_V2":
       1. Adicione a conta de serviço do Google SecOps como principal ao seu bucket do Storage e conceda a ela o papel do IAM Leitor de bucket legados do Storage (roles/storage.legacyBucketViewer).
       2. Se você configurar o feed para excluir arquivos de origem, adicione a conta de serviço do Google SecOps como principal no bucket e conceda a ele o papel Gravador de bucket legado do Storage (roles/storage.legacyBucketWriter) do IAM.

Configurar o VPC Service Controls

Se o VPC Service Controls estiver ativado, uma regra de entrada será necessária para fornecer acesso ao bucket do Cloud Storage.

Os seguintes métodos do Cloud Storage precisam ser permitidos na regra de entrada:

• google.storage.objects.list: obrigatório para um feed de arquivo único.
• google.storage.objects.get: obrigatório para feeds que exigem acesso a diretórios ou subdiretórios.
• google.storage.objects.delete: obrigatório para feeds que exigem a exclusão do arquivo de origem.

Exemplo de regra de entrada

- ingressFrom:
  identities:
    - serviceAccount:8911409095528497-0-account@partnercontent.gserviceaccount.com
  sources:
  - accessLevel: "*"
  ingressTo:
  operations:
  - serviceName: storage.googleapis.com
    methodSelectors:
    - method: google.storage.objects.list
    - method: google.storage.objects.get
    - method: google.storage.objects.delete
  resources:
  - projects/PROJECT_ID

Status do feed

É possível monitorar o status do feed na página inicial Feeds, onde os feeds podem ter os seguintes status:

• Ativo: o feed está configurado e pronto para ingerir dados na sua conta do Google SecOps.
• Em andamento: o Google SecOps tenta extrair dados do terceiro configurado.
• Concluído: os dados foram recuperados por esse feed.
• Arquivado: feed desativado.

• Falha: o feed não consegue buscar dados. Isso provavelmente se deve a um problema de configuração. Clique na pergunta para mostrar o erro de configuração. Depois de corrigir o erro e reenviar o feed, volte à página Feeds para determinar se o feed está funcionando ou não.

Editar feeds

Na página Feeds, é possível editar um feed existente da seguinte maneira:

1. Mantenha o cursor sobre um feed e clique em more_vert na coluna à direita.

2. Clique em Editar feed. Agora é possível modificar os parâmetros de entrada do feed e reenviar para o Google SecOps, que vai tentar usar o feed atualizado.

Ativar e desativar feeds

Na coluna Status, os feeds ativados são marcados como Ativo, Em andamento, Concluído ou Falhou. Os campos desativados são rotulados como Arquivado. Para uma descrição, consulte o status do feed.

Na página Feeds, é possível ativar ou desativar qualquer um dos feeds:

1. Mantenha o cursor sobre um feed e clique em more_vert na coluna à direita.

2. Opcional: clique no botão de alternância Feed ativado para desativar o feed.

3. Opcional: clique no botão de alternância Desativar feed para desativar o feed. O feed agora está marcado como Arquivado.

Excluir feeds

Na página Feeds, também é possível excluir um feed:

1. Mantenha o cursor sobre um feed e clique em more_vert na coluna à direita.

2. Clique em Excluir feed. A janela DELETE FEED é aberta. Para excluir o feed permanentemente, clique em Sim, excluir.

Controlar a taxa de transferência

Quando a taxa de ingestão de dados de um locatário atinge um determinado limite, as operações de segurança do Google restringem a taxa de ingestão de novos feeds de dados para evitar que uma origem com uma taxa de ingestão alta afete a taxa de outra origem de dados. Nesse caso, há um atraso, mas nenhum dado é perdido. O volume de transferência e o histórico de uso do locatário determinam o limite.

Para solicitar um aumento do limite de taxa, entre em contato com o Cloud Customer Care.

Solução de problemas

Na página Feeds, você pode conferir detalhes como tipo de origem, tipo de registro, ID do feed e status dos feeds atuais, conforme mostrado a seguir:

1. Mantenha o cursor sobre um feed e clique em more_vert na coluna à direita.

2. Clique em Ver feed. Uma caixa de diálogo vai aparecer mostrando os detalhes do feed. Para um feed com falha, confira os detalhes do erro em Detalhes > Status.

No caso de um feed com falha, os detalhes incluem a causa do erro e as etapas para corrigi-lo. A tabela a seguir descreve as mensagens de erro que podem aparecer ao trabalhar com feeds de dados:

Precisa de mais ajuda? Receba respostas de membros da comunidade e profissionais do Google SecOps.