Recopila registros de Datadog
Descripción general
Este analizador extrae campos de los registros de Datadog, realiza varias mutaciones y coincidencias de Grok para estructurar los datos, y asigna los campos extraídos al UDM. Maneja diferentes formatos de registro dentro del campo message, incluidos los pares clave-valor y los objetos JSON, y convierte campos específicos en etiquetas y campos adicionales que cumplen con el UDM.
Antes de comenzar
Asegúrate de cumplir con los siguientes requisitos previos:
- Instancia de Google SecOps.
- Acceso privilegiado a Google Cloud IAM.
- Acceso privilegiado a Cloud Storage.
logs_write_archive
acceso de usuario a Datadog
Opción 1: Compartir registros de Datadog a través de la configuración de Cloud Storage
Configura la integración de Datadog con la plataforma de Google Cloud
- Configura una integración para Google Cloud Platform en Datadog. Para obtener más información, consulta la configuración de la integración de Datadog Google Cloud .
Crea un Google Cloud bucket de Storage
- Accede a la consola de Google Cloud .
Ve a la página Buckets de Cloud Storage.
Haz clic en Crear.
En la página Crear un bucket, ingresa la información de tu bucket. Después de cada uno de los siguientes pasos, haz clic en Continuar para avanzar al siguiente paso:
En la sección Primeros pasos, haz lo siguiente:
- Ingresa un nombre único que cumpla con los requisitos de nombre de bucket (por ejemplo, datadog-data).
Para habilitar el espacio de nombres jerárquico, haz clic en la flecha de expansión para expandir la sección Optimizar las cargas de trabajo orientadas a archivos y con uso intensivo de datos y, luego, selecciona Habilitar el espacio de nombres jerárquico en este bucket.
Para agregar una etiqueta de bucket, haz clic en la flecha de expansión para expandir la sección Etiquetas.
Haz clic en Agregar etiqueta y especifica una clave y un valor para tu etiqueta.
En la sección Eligir dónde almacenar tus datos, haz lo siguiente:
- Selecciona un tipo de ubicación
- Usa el menú desplegable del tipo de ubicación para seleccionar una Ubicación en la que se almacenarán de forma permanente los datos de objetos de tu bucket.
- Si seleccionas el tipo de ubicación birregional, también puedes habilitar la replicación turbo con la casilla de verificación correspondiente.
- Para configurar la replicación entre bucket, expande la sección Configura la bucket entre buckets.
En la sección Elige una clase de almacenamiento para tus datos, selecciona una clase de almacenamiento predeterminada para el bucket o selecciona Autoclass para la administración automática de clases de almacenamiento de los datos de tu bucket.
En la sección Elige cómo controlar el acceso a los objetos, selecciona no para aplicar la prevención del acceso público y selecciona un modelo de control de acceso para los objetos del bucket.
En la sección Elige cómo proteger los datos de objetos, haz lo siguiente:
- Selecciona cualquiera de las opciones de Protección de datos que desees configurar para tu bucket.
- Para elegir cómo se encriptarán los datos de tus objetos, haz clic en la flecha desplegable etiquetada como Encriptación de datos y selecciona un método de encriptación de datos.
Haz clic en Crear.
Crea una cuenta de servicio de Google Cloud
- Ve a IAM y administración > Cuentas de servicio.
- Cree una cuenta de servicio nueva
- Ponle un nombre descriptivo (por ejemplo, datadog-user).
- Otorga a la cuenta de servicio el rol de administrador de objetos de almacenamiento en el bucket de Cloud Storage que creaste en el paso anterior.
- Crea una clave SSH para la cuenta de servicio.
- Descarga un archivo de claves JSON para la cuenta de servicio. Protege este archivo.
Configura Datadog para enviar registros a Cloud Storage
- Accede a Datadog con una cuenta con privilegios.
- Ve a Registros > Reenvío de registros.
- Haz clic en + Crear archivo nuevo.
- Selecciona Google Cloud Storage.
- Ingresa los parámetros obligatorios y haz clic en Guardar.
Opción 2: Compartir registros de Datadog a través de la configuración de Webhook
Configura feeds
Existen dos puntos de entrada diferentes para configurar feeds en la plataforma de Google SecOps:
- Configuración de SIEM > Feeds
- Centro de contenido > Paquetes de contenido
Configura feeds en Configuración del SIEM > Feeds
Para configurar un feed, sigue estos pasos:
- Ve a Configuración del SIEM > Feeds.
- Haz clic en Agregar feed nuevo.
- En la siguiente página, haz clic en Configurar un solo feed.
- En el campo Nombre del feed, ingresa un nombre para el feed (por ejemplo, Registros de Datadog).
- Selecciona Webhook como el Tipo de origen.
- Selecciona Datadog como el Tipo de registro.
- Haz clic en Siguiente.
- Opcional: Especifica valores para los siguientes parámetros de entrada:
- Delimitador de división: Es el delimitador que se usa para separar las líneas de registro, como
\n
.
- Delimitador de división: Es el delimitador que se usa para separar las líneas de registro, como
- Haz clic en Siguiente.
- Revisa la configuración del feed en la pantalla Finalizar y, luego, haz clic en Enviar.
- Haz clic en Generar clave secreta para generar una clave secreta que autentique este feed.
- Copia y almacena la clave secreta. No podrás volver a ver esta clave secreta. Si es necesario, puedes regenerar una clave secreta nueva, pero esta acción hace que la clave secreta anterior quede obsoleta.
- En la pestaña Detalles, copia la URL del extremo del feed del campo Información del extremo. Debes especificar esta URL de extremo en tu aplicación cliente.
- Haz clic en Listo.
Configura feeds desde el Centro de contenido
Especifica valores para los siguientes campos:
- Delimitador de división: Es el delimitador que se usa para separar las líneas de registro, como
\n
.
Opciones avanzadas
- Nombre del feed: Es un valor completado previamente que identifica el feed.
- Tipo de fuente: Es el método que se usa para recopilar registros en Google SecOps.
- Espacio de nombres del activo: Es el espacio de nombres asociado con el feed.
Etiquetas de transferencia: Son las etiquetas que se aplican a todos los eventos de este feed.
Haz clic en Generar clave secreta para generar una clave secreta que autentique este feed.
Copia y almacena la clave secreta. No podrás volver a ver esta clave secreta. Si es necesario, puedes regenerar una clave secreta nueva, pero esta acción hace que la clave secreta anterior quede obsoleta.
En la pestaña Detalles, copia la URL del extremo del feed del campo Información del extremo. Debes especificar esta URL de extremo en tu aplicación cliente.
Crea una clave de API para el feed del webhook
Ve a Google Cloud consola > Credenciales.
Haz clic en Crear credenciales y selecciona Clave de API.
Restringe el acceso a la clave de API a la API de Chronicle.
Especifica la URL del extremo
- En tu aplicación cliente, especifica la URL del extremo HTTPS que se proporciona en el feed de webhook.
Para habilitar la autenticación, especifica la clave de API y la clave secreta como parte del encabezado personalizado con el siguiente formato:
X-goog-api-key = API_KEY X-Webhook-Access-Key = SECRET
Recomendación: Especifica la clave de API como un encabezado en lugar de hacerlo en la URL.
Si tu cliente de webhook no admite encabezados personalizados, puedes especificar la clave de API y la clave secreta con parámetros de búsqueda en el siguiente formato:
ENDPOINT_URL?key=API_KEY&secret=SECRET
Reemplaza lo siguiente:
ENDPOINT_URL
: Es la URL del extremo del feed.API_KEY
: Es la clave de API para autenticarse en Google SecOps.SECRET
: Es la clave secreta que generaste para autenticar el feed.
Configura Datadog para enviar registros al webhook
- Accede a Datadog con una cuenta con privilegios.
- Ve a Registros > Reenvío de registros.
- Selecciona Destinos personalizados.
- Haz clic en + Crear un destino nuevo.
- Especifica valores para los siguientes parámetros de entrada:
- Elige un tipo de destino: Selecciona HTTP.
- Asigna un nombre al destino: Proporciona un nombre descriptivo para el webhook (por ejemplo, Webhook de SecOps de Google).
- Configura el destino: Ingresa ENDPOINT_URL, seguido de API_KEY y SECRET.
- Configura los parámetros de autenticación: Agrega un encabezado general como el siguiente. Esto no deformará la solicitud HTTP y permitirá que Datadog complete la creación del webhook.
- Nombre del encabezado:
Accept
. - Valor del encabezado:
application/json
.
- Nombre del encabezado:
- Haz clic en Guardar.
Vínculos de referencia
Tabla de asignación de UDM
Campo de registro | Asignación de UDM | Lógica |
---|---|---|
_id |
read_only_udm.metadata.product_log_id |
Se asigna directamente desde el campo _id . |
alert |
read_only_udm.security_result.about.resource.attribute.labels |
Se extrae del campo alert y se agrega como una etiqueta dentro del objeto security_result . |
attributes.@timestamp |
read_only_udm.metadata.event_timestamp |
La marca de tiempo del evento se extrae del campo attributes.@timestamp y se convierte en segundos y nanosegundos. |
attributes.@version |
read_only_udm.metadata.product_version |
Se asigna directamente desde el campo attributes.@version . |
attributes.level_value |
read_only_udm.security_result.about.resource.attribute.labels |
Se extrae del campo attributes.level_value y se agrega como una etiqueta dentro del objeto security_result . |
attributes.logger_name |
read_only_udm.principal.application |
Se asigna directamente desde el campo attributes.logger_name . |
attributes._trace.baggage._sli_service |
read_only_udm.additional.fields |
Se asigna directamente desde el campo attributes._trace.baggage._sli_service y se agrega como un campo adicional. |
attributes._trace.baggage.device_id |
read_only_udm.principal.asset.asset_id |
Se asigna directamente desde el campo attributes._trace.baggage.device_id , con el prefijo "ID de dispositivo:". |
attributes._trace.origin.operation |
read_only_udm.metadata.product_event_type |
Se asigna directamente desde el campo attributes._trace.origin.operation . |
caller |
read_only_udm.security_result.about.resource.attribute.labels |
Se extrae del campo caller y se agrega como una etiqueta dentro del objeto security_result . |
component |
read_only_udm.security_result.about.resource.attribute.labels |
Se extrae del campo component y se agrega como una etiqueta dentro del objeto security_result . |
context.AlertName |
read_only_udm.security_result.threat_name |
Se asigna directamente desde el campo context.AlertName . |
context.BusArch |
read_only_udm.security_result.about.resource.attribute.labels |
Se extrae del campo context.BusArch y se agrega como una etiqueta dentro del objeto security_result . |
context.CANDBVersion |
read_only_udm.security_result.about.resource.attribute.labels |
Se extrae del campo context.CANDBVersion y se agrega como una etiqueta dentro del objeto security_result . |
context.esn |
read_only_udm.security_result.about.resource.attribute.labels |
Se extrae del campo context.esn y se agrega como una etiqueta dentro del objeto security_result . |
context.ftcpVersion |
read_only_udm.security_result.about.resource.attribute.labels |
Se extrae del campo context.ftcpVersion y se agrega como una etiqueta dentro del objeto security_result . |
context.ingestMessageId |
read_only_udm.security_result.about.resource.attribute.labels |
Se extrae del campo context.ingestMessageId y se agrega como una etiqueta dentro del objeto security_result . |
context.redactedVin |
read_only_udm.security_result.about.resource.attribute.labels |
Se extrae del campo context.redactedVin y se agrega como una etiqueta dentro del objeto security_result . |
context.vehicleId |
read_only_udm.security_result.about.resource.attribute.labels |
Se extrae del campo context.vehicleId y se agrega como una etiqueta dentro del objeto security_result . |
date |
read_only_udm.metadata.collected_timestamp |
La marca de tiempo recopilada se extrae del campo date (cuyo nombre se cambió a date1 en el analizador) y se convierte a segundos y nanosegundos. |
host |
read_only_udm.principal.hostname |
Se asigna directamente desde el campo host . |
message |
read_only_udm.security_result.about.resource.attribute.labels |
El campo message se analiza, y partes de él se usan para completar los campos summary y json_data. La parte restante se trata como pares clave-valor y se agrega como etiquetas dentro del objeto security_result. |
msg |
read_only_udm.security_result.about.resource.attribute.labels |
Se extrae del campo msg y se agrega como una etiqueta dentro del objeto security_result . |
service |
read_only_udm.metadata.product_name |
Se asigna directamente desde el campo service . |
status |
read_only_udm.security_result.severity |
La gravedad se determina según el campo status . "INFO", "DEBUG", "debug" y "info" se asignan a "LOW", "WARN" se asigna a "MEDIUM", y otros valores no se asignan de forma explícita en el fragmento de código proporcionado. |
tags |
read_only_udm.additional.fields |
Cada etiqueta del array tags se analiza en pares clave-valor y se agrega como campos adicionales. |
N/A | read_only_udm.metadata.event_type |
Se establece en "STATUS_UPDATE" si el campo host está presente y en "GENERIC_EVENT" en caso contrario. |
¿Necesitas más ayuda? Obtén respuestas de miembros de la comunidad y profesionales de Google SecOps.