Recoger registros de AWS CloudWatch

En este documento se explica cómo ingerir registros de AWS CloudWatch en Google Security Operations mediante Amazon S3 o Amazon Kinesis Data Firehose. AWS CloudWatch es un servicio de monitorización y observabilidad que recoge datos operativos en forma de registros, métricas y eventos. Esta integración le permite enviar estos registros a Google SecOps para analizarlos y monitorizarlos.

Antes de empezar

Asegúrate de que cumples los siguientes requisitos previos:

• Instancia de Google SecOps
• Acceso privilegiado a AWS

Configurar la exportación de registros de CloudWatch mediante AWS S3

Este proceso de exportación debe realizarse periódicamente para que los registros de CloudWatch más recientes se ingieran en S3.

Crear un segmento de Amazon S3

Te recomendamos que uses un contenedor creado específicamente para los registros de CloudWatch.

1. Abre la consola de Amazon S3.
2. Si es necesario, puede cambiar la región.
   • En la barra de navegación, seleccione la región en la que se encuentran sus registros de CloudWatch.
3. Haz clic en Crear segmento.
   • Nombre del contenedor: introduce un nombre descriptivo para el contenedor.
   • Región: selecciona la región en la que se encuentran tus datos de CloudWatch Logs.
   • Haz clic en Crear.

Crear un usuario de IAM con acceso completo a Amazon S3 y CloudWatch Logs

1. Abre la consola de IAM.
2. Haz clic en Usuarios > Crear usuario.
3. Escribe un nombre en el campo Nombre de usuario (por ejemplo, CWExport).
4. Selecciona Acceso programático y Acceso a la consola de administración de AWS.
5. Selecciona Contraseña generada automáticamente o Contraseña personalizada.
6. Haz clic en Siguiente: Permisos.
7. Elige Adjuntar políticas directamente.
8. Busca y selecciona las políticas AmazonS3FullAccess y CloudWatchLogsFullAccess para el usuario.
9. Haz clic en Siguiente: Etiquetas.
10. Haz clic en Siguiente: Revisar.
11. Haz clic en Crear usuario.

Configurar permisos en un segmento de Amazon S3

1. En la consola de Amazon S3, elija el segmento que ha creado anteriormente.
2. Haz clic en Permisos > Política de contenedor.

3. En el Bucket Policy Editor (Editor de políticas de cubeta), añade la siguiente política.

   {             
     "Version": "2012-10-17",
     "Statement": [
         {
           "Action": "s3:GetBucketAcl",
           "Effect": "Allow",
           "Resource": "arn:aws:s3:::cw-exported-logs",
           "Principal": { "Service": "logs.us-east-1.amazonaws.com" }
         },
         {
           "Action": "s3:PutObject" ,
           "Effect": "Allow",
           "Resource": "arn:aws:s3:::my-exported-logs/random-string/*",
           "Condition": { "StringEquals": { "s3:x-amz-acl": "bucket-owner-full-control" } },
           "Principal": { "Service": "logs.us-east-1.amazonaws.com" }
   
         }
   
     ]
   
   }
   

4. Cambia y actualiza las siguientes variables de json:

   • Cambia cw-exported-logs por el nombre de tu segmento de S3.
   • Cambia random-string por una cadena de caracteres generada aleatoriamente.
   • Asegúrate de especificar el endpoint de región correcto para Principal.

5. Haz clic en Guardar.

Configurar la exportación de CloudWatch

1. Inicia sesión como el usuario de gestión de identidades y accesos que has creado anteriormente.
2. Abre la consola de CloudWatch.
3. En el menú de navegación, selecciona Grupos de registros.
4. Selecciona el nombre de un grupo de registros que ya tengas o crea uno.
5. Elige Acciones > Exportar datos a Amazon S3.
6. En la pantalla Exportar datos a Amazon S3, busca Definir exportación de datos.

7. Indica el periodo de los datos que quieres exportar en los campos Desde y Hasta.

8. Elegir contenedor de S3: selecciona la cuenta asociada al contenedor de Amazon S3.

9. Nombre del segmento de S3: selecciona un segmento de Amazon S3.

10. Prefijo del segmento de S3: introduce la cadena generada aleatoriamente que has especificado en la política del segmento.

11. Elige Exportar para exportar los datos de registro a Amazon S3.

12. Para ver el estado de los datos de registro que ha exportado a Amazon S3, seleccione Acciones > Ver todas las exportaciones a Amazon S3.

Configurar un feed en Google SecOps para ingerir registros de AWS CloudWatch

1. Ve a Configuración de SIEM > Feeds.
2. Haz clic en Añadir feed.
3. En el campo Nombre del feed, introduce un nombre para el feed (por ejemplo, AWS CloudWatch Logs).
4. Selecciona Amazon S3 V2 como Tipo de fuente.
5. Seleccione AWS CloudWatch como Tipo de registro.
6. Haz clic en Siguiente.

7. Especifique los valores de los siguientes parámetros de entrada:

   • URI de S3: el URI del segmento.
   • s3://your-log-bucket-name/
     • Sustituye your-log-bucket-name por el nombre real del segmento.

   • Opciones de eliminación de la fuente: selecciona la opción de eliminación que prefieras.

   • Antigüedad máxima de los archivos: 180 días de forma predeterminada.

   • ID de clave de acceso: clave de acceso de usuario con acceso al bucket de S3.

   • Clave de acceso secreta: clave secreta del usuario con acceso al bucket de S3.

   • Espacio de nombres de recursos: el espacio de nombres de recursos.

   • Etiquetas de ingestión: etiqueta que se aplicará a los eventos de este feed.

8. Haz clic en Siguiente.

9. Revise la configuración de la nueva fuente en la pantalla Finalizar y, a continuación, haga clic en Enviar.

Configurar la exportación de registros de CloudWatch mediante AWS Data Firehose

No es necesario realizar este proceso de exportación con regularidad después de la configuración inicial.

Configurar un feed en Google SecOps para ingerir registros de AWS CloudWatch

1. Ve a Configuración de SIEM > Feeds.
2. Haz clic en + Añadir nuevo feed.
3. En el campo Nombre del feed, introduce un nombre para el feed (por ejemplo, AWS CloudWatch Logs).
4. Seleccione Amazon Data Firehose como Tipo de fuente.
5. Seleccione AWS CloudWatch como Tipo de registro.
6. Haz clic en Siguiente.
7. Especifique los valores de los siguientes parámetros de entrada:
   • Delimitador de división: \n (opcional).
   • Espacio de nombres de recursos: el espacio de nombres de recursos.
   • Etiquetas de ingestión: etiqueta que se aplicará a los eventos de este feed.
8. Haz clic en Siguiente.
9. Revisa la configuración del feed y haz clic en Enviar.
10. Haz clic en Generar clave secreta para generar una clave secreta que autentique este feed.
11. Copia y guarda la clave secreta, ya que no podrás volver a ver este valor.
12. Ve a la pestaña Detalles.
13. Copia la URL del endpoint del feed del campo Endpoint Information (Información del endpoint).
14. Haz clic en Listo.

Crear una clave de API para el feed de Amazon Data Firehose

1. Ve a la consola de Google Cloud y, a continuación, a la página Credenciales.
2. Haz clic en Crear credenciales y, a continuación, selecciona Clave de API.
3. Restringe el acceso de la clave de API a la API Google SecOps.

Especificar la URL del endpoint

Para especificar el endpoint HTTPS y la clave de acceso en Amazon Data Firehose, sigue estos pasos:

1. Añade la clave de API a la URL del endpoint del feed y especifica esta URL como la URL del endpoint HTTP con el siguiente formato:

   ENDPOINT_URL?key=API_KEY
   

   • Haz los cambios siguientes:

     • ENDPOINT_URL: URL del endpoint del feed.
     • API_KEY: la clave de API para autenticarte en Google SecOps.

En el campo de la clave de acceso, especifique la clave secreta que obtuvo al crear el feed de Amazon Data Firehose.

Configura Amazon Kinesis Data Firehose en Google SecOps {:#configure-kinesis-secops}.

1. En la consola de AWS, ve a Kinesis > Data Firehose > Create delivery stream.
2. Proporcione los siguientes detalles de configuración:
   • Fuente: seleccione PUT directo u otras fuentes.
   • Destino: elige Endpoint HTTP.
   • URL del endpoint HTTP: introduce la URL del endpoint HTTPS de la feed de Google SecOps con la clave de API.
   • Método HTTP: selecciona POST.
3. En Clave de acceso, introduce los siguientes datos:
   • Encabezado de clave secreta: <HEADER_NAME_FOR_SECRET> con el valor <YOUR_SECRET_KEY>
   • Sugerencias para el almacenamiento en búfer: define Tamaño del búfer = 1 MiB y Intervalo del búfer = 60 segundos.
   • Compresión: selecciona Inhabilitada.
   • Copia de seguridad de S3: selecciona Inhabilitada.
   • Deja la configuración de reintentos y registros como predeterminada.
4. Haga clic en Crear flujo de entrega.

Configurar permisos de gestión de identidades y accesos y suscribir el grupo de registros

1. En la consola de AWS, vaya a IAM > Policies > Create policy > JSON.

2. Pega el siguiente JSON de la política y sustituye <region> y <account-id> por tu región de AWS y tu ID de cuenta:

   {
     "Version": "2012-10-17",
     "Statement": [
       {
         "Effect": "Allow",
         "Action": [
           "firehose:PutRecord",
           "firehose:PutRecordBatch"
         ],
         "Resource": "arn:aws:firehose:<region>:<account-id>:deliverystream/cwlogs-to-secops"
       }
     ]
   }
   

   1. Ponle un nombre a la política CWLtoFirehoseWrite y haz clic en Crear política.
   2. Ve a IAM > Roles > Crear rol.
   3. Selecciona Política de confianza personalizada y pega lo siguiente:

   {
     "Version": "2012-10-17",
     "Statement": [
       {
         "Effect": "Allow",
         "Principal": {
           "Service": "logs.<your-region>.amazonaws.com"
         },
         "Action": "sts:AssumeRole"
       }
     ]
   }
   

3. Asigna la política CWLtoFirehoseWrite al rol.

4. Dale el nombre CWLtoFirehoseRole al rol y haz clic en Crear rol.

5. Ve a CloudWatch > Registros > Grupos de registros.

6. Selecciona el grupo de registros de destino.

7. Abre la pestaña Filtros de suscripción y haz clic en Crear.

8. Elige Create Amazon Kinesis Data Firehose subscription filter (Crear filtro de suscripción de Amazon Kinesis Data Firehose).

9. Proporciona los siguientes detalles de configuración:

   • Destino: selecciona el flujo de entrega cwlogs-to-secops.
   • Conceder permiso: elige el rol CWLtoFirehoseRole.
   • Nombre del filtro: escribe all-events.
   • Deje Patrón de filtro en blanco para enviar todos los eventos.

10. Haz clic en Iniciar emisión.

Tabla de asignación de UDM

¿Necesitas más ayuda? Recibe respuestas de los miembros de la comunidad y de los profesionales de Google SecOps.