Google Security Operations 如何丰富事件和实体数据

本文档介绍了 Google 安全运营团队如何丰富数据以及存储数据的统一数据模型 (UDM) 字段。

为了开展安全调查，Google 安全运营团队会提取来自不同来源的情境数据，对数据进行分析，并提供有关客户环境中工件的实用背景信息。分析师可以在 Detection Engine 规则、调查搜索或报告中使用情境丰富数据。

Google 安全运营团队会执行以下类型的数据丰富：

• 使用实体图和合并功能丰富实体。
• 计算并使用流行度统计信息（表示实体在环境中的受欢迎程度）丰富每个实体。
• 计算特定实体类型在环境中首次出现的时间或最近出现的时间。
• 使用安全浏览威胁列表中的信息丰富实体。
• 使用地理定位数据丰富事件。
• 使用 WHOIS 数据丰富实体。
• 使用 VirusTotal 文件元数据丰富事件。
• 使用 VirusTotal 关系数据丰富实体。
• 提取和存储 Google Cloud 威胁情报数据。

entity_type、product_name 和 vendor_name 用于标识 WHOIS、安全浏览、GTTI 威胁情报、VirusTotal 元数据和 VirusTotal 关系的丰富数据。创建使用此丰富数据的规则时，我们建议您在规则中添加一个过滤条件，用于标识要包含的具体丰富类型。此过滤器有助于提高规则的性能。 例如，在联接 WHOIS 数据的规则的 events 部分中添加以下过滤器字段。

$enrichment.graph.metadata.entity_type = "DOMAIN_NAME"
$enrichment.graph.metadata.product_name = "WHOISXMLAPI Simple Whois"
$enrichment.graph.metadata.vendor_name = "WHOIS"

使用实体图和合并功能丰富实体

实体图可识别环境中实体与资源之间的关系。将来自不同来源的实体提取到 Google Security Operations 后，实体图会根据实体之间的关系维护邻接列表。实体图通过执行去重和合并来执行情境丰富功能。

在去重过程中，系统会消除冗余数据并形成时间间隔，以创建一个通用实体。例如，假设有两个实体 e1 和 e2，分别具有时间戳 t1 和 t2。系统会删除重复的实体 e1 和 e2，并且在删除重复项期间不会使用不同的时间戳。以下字段在去重过程中不会使用：

• collected_timestamp
• creation_timestamp
• interval

在合并期间，实体之间的关系会在一天的时间间隔内形成。例如，假设 user A 是具有 Cloud Storage 存储桶访问权限的实体记录。还有另一个实体记录 user A，它拥有一部设备。合并后，这两个实体会合并为一个具有两个关系的实体 user A。其中一个关系是 user A 有权访问 Cloud Storage 存储桶，另一个关系是 user A 拥有相应设备。Google Security Operations 在创建实体情境数据时，会回溯 5 天。这会处理延迟到达的数据，并在实体情境数据上创建隐式有效期。

Google 安全运营团队使用别名来丰富遥测数据，并使用实体图来丰富实体。检测引擎规则会将合并的实体与经过丰富的遥测数据联接，以提供情境感知型分析。

包含实体名词的事件会被视为实体。以下是一些事件类型及其对应的实体类型：

• ASSET_CONTEXT 对应于 ASSET。
• RESOURCE_CONTEXT 对应于 RESOURCE。
• USER_CONTEXT 对应于 USER。
• GROUP_CONTEXT 对应于 GROUP。

实体图会使用威胁信息来区分情境数据和入侵指标 (IOC)。

使用情境丰富数据时，请考虑以下实体图行为：

• 请勿在实体中添加间隔，而应让实体图表创建间隔。这是因为除非另有说明，否则时间间隔是在去重期间生成的。
• 如果指定了间隔时间，则系统只会删除相同的事件，并保留最新的实体。
• 为确保实时规则和回溯查找功能按预期运行，实体必须每天至少提取一次。
• 如果实体不是每天提取，而是每两天或更长时间提取一次，实时规则可能会按预期运行，但回溯查找功能可能会丢失事件情境。
• 如果实体每天提取多次，系统会将实体去重为单个实体。
• 如果某一天缺少事件数据，系统会暂时使用前一天的数据，以确保实时规则正常运行。

实体图还会合并具有类似标识符的事件，以便对数据进行汇总视图。此合并会根据以下标识符列表进行：

• Asset
  • entity.asset.product_object_id
  • entity.asset.hostname
  • entity.asset.asset_id
  • entity.asset.mac
• User
  • entity.user.product_object_id
  • entity.user.userid
  • entity.user.windows_sid
  • entity.user.email_addresses
  • entity.user.employee_id
• Resource
  • entity.resource.product_object_id
  • entity.resource.name
• Group
  • entity.group.product_object_id
  • entity.group.email_addresses
  • entity.group.windows_sid

计算普及率统计信息

Google Security Operations 会对现有数据和传入数据执行统计分析，并使用与流行度相关的指标丰富实体情境记录。

流行度是一个数值，表示实体的受欢迎程度。受欢迎程度由访问工件（例如网域、文件哈希或 IP 地址）的资源数量定义。该数值越大，相应实体的热门程度就越高。 例如，google.com 的普遍性值较高，因为它被访问的频率较高。如果某个网域的访问频率较低，其流行度值也会较低。实体越受欢迎，就越不太可能具有恶意。

这些丰富的值适用于网域、IP 和文件 (hash)。系统会计算这些值并将其存储在以下字段中。

每个实体的流行病学统计数据每天更新一次。这些值存储在单独的实体情境中，可供 Detection Engine 使用，但不会显示在 Google 安全运营调查视图和 UDM 搜索中。

在创建检测引擎规则时，可以使用以下字段。

day_max 和 rolling_max 值的计算方式不同。这些字段的计算方式如下：

• day_max 的计算方法为：一天内工件的最大流行度得分，其中一天定义为世界协调时间 (UTC) 凌晨 12:00:00 至晚上 11:59:59。
• rolling_max 的计算方式为：过去 10 天内工件每日最高流行度得分 (day_max)。
• day_count 用于计算 rolling_max，其值始终为 10。

针对某个网域计算时，day_max 与 day_max_sub_domains（以及 rolling_max 与 rolling_max_sub_domains）之间的差异如下所示：

• rolling_max 和 day_max 表示每天访问给定网域（不包括子网域）的唯一内部 IP 地址的数量。
• rolling_max_sub_domains 和 day_max_sub_domains 表示访问给定网域（包括子网域）的唯一内部 IP 地址的数量。

系统会根据新提取的实体数据计算患病率统计信息。系统不会对之前提取的数据进行回溯性计算。系统需要大约 36 小时才能计算和存储统计信息。

计算实体的首次看到时间和最后看到时间

Google Security Operations 会对传入数据执行统计分析，并使用实体的首次看到时间和最后一次看到时间丰富实体情境记录。first_seen_time 字段用于存储实体在客户环境中首次出现的日期和时间。last_seen_time 字段用于存储最近一次观察的日期和时间。

由于多个指标（UDM 字段）都可以识别素材资源或用户，因此首次看到时间是指客户环境中首次看到用于识别用户或素材资源的任何指标。

用于描述资产的所有 UDM 字段如下：

• entity.asset.hostname
• entity.asset.ip
• entity.asset.mac
• entity.asset.asset_id
• entity.asset.product_object_id

用于描述用户的所有 UDM 字段如下：

• entity.user.windows_sid
• entity.user.product_object_id
• entity.user.userid
• entity.user.employee_id
• entity.user.email_addresses

借助首次出现时间和上次出现时间，分析师可以关联在首次出现网域、文件（哈希）、资产、用户或 IP 地址后发生的特定活动，或在最后一次出现网域、文件（哈希）或 IP 地址后停止发生的活动。

first_seen_time 和 last_seen_time 字段会填充描述网域、IP 地址和文件（哈希）的实体。对于用于描述用户或素材资源的实体，系统只会填充 first_seen_time 字段。系统不会针对描述其他类型（例如群组或资源）的实体计算这些值。

系统会针对所有命名空间中的每个实体计算统计信息。Google 安全运营不会计算各个命名空间中的每个实体的统计信息。这些统计信息目前不会导出到 BigQuery 中的 Google Security Operations events 架构。

系统会计算这些经过丰富的值，并将其存储在以下 UDM 字段中：

使用地理定位数据丰富事件

传入日志数据可以包含没有对应位置信息的外部 IP 地址。如果事件正在记录不在企业网络中的设备活动的相关信息，这种情况很常见。例如，对云服务的登录事件将包含来源 IP 地址或客户端 IP 地址，具体取决于运营商 NAT 返回的设备的外部 IP 地址。

Google Security Operations 会为外部 IP 地址提供经过地理位置丰富的数据，以便进行更强大的规则检测，并为调查提供更多背景信息。例如，Google 安全运营团队可能会使用外部 IP 地址来丰富事件，为其添加与国家/地区（例如美国）、特定州（例如阿拉斯加州）以及 IP 地址所在的网络（例如 ASN 和运营商名称）相关的信息。

Google Security Operations 使用 Google 提供的位置数据，为 IP 地址提供大致的地理位置和网络信息。您可以针对事件中的这些字段编写检测引擎规则。经过丰富的事件数据也会导出到 BigQuery，以便在 Google Security Operations 信息中心和报告中使用。

以下 IP 地址不会进行丰富：

• RFC 1918 专用 IP 地址空间，因为它们属于企业网络的内部地址。
• RFC 5771 多播 IP 地址空间，因为多播地址不属于单个位置。
• IPv6 唯一本地地址。
• Google Cloud 服务 IP 地址。唯一的例外是 Google Cloud Compute Engine 外部 IP 地址，这些地址会进行丰富处理。

Google 安全运维会使用地理位置数据丰富以下 UDM 字段：

• principal
• target
• src
• observer

以下示例展示了将添加到 IP 地址标记为荷兰的 UDM 事件的地理信息类型：

不一致

Google 专有的 IP 地理位置技术综合使用网络数据和其他输入和方法，为用户提供 IP 地址位置信息和网络解析。其他组织可能会使用不同的信号或方法，这可能会导致结果偶尔有所不同。

如果您发现 Google 提供的 IP 地理位置结果不一致，请创建客户支持请求，以便我们展开调查，并在适当情况下更正我们的记录。

使用安全浏览威胁列表中的信息丰富实体

Google Security Operations 会提取与文件哈希相关的安全浏览数据。每个文件的数据都存储为实体，并提供有关文件的其他上下文。分析师可以创建对此实体情境数据进行查询的 Detection Engine 规则，以构建情境感知分析。

以下信息会与实体情境记录一起存储。

使用 WHOIS 数据丰富实体

Google Security Operations 每天都会提取 WHOIS 数据。在提取传入的客户设备数据期间，Google Security Operations 会根据 WHOIS 数据评估客户数据中的网域。如果有匹配项，Google Security Operations 会将相关 WHOIS 数据存储在域名的实体记录中。对于每个实体（其中 entity.metadata.entity_type = DOMAIN_NAME），Google 安全运营团队都会使用 WHOIS 中的信息对其进行丰富。

Google Security Operations 会将经过丰富的 WHOIS 数据填充到实体记录中的以下字段：

• entity.domain.admin.attribute.labels
• entity.domain.audit_update_time
• entity.domain.billing.attribute.labels
• entity.domain.billing.office_address.country_or_region
• entity.domain.contact_email
• entity.domain.creation_time
• entity.domain.expiration_time
• entity.domain.iana_registrar_id
• entity.domain.name_server
• entity.domain.private_registration
• entity.domain.registrant.company_name
• entity.domain.registrant.office_address.state
• entity.domain.registrant.office_address.country_or_region
• entity.domain.registrant.email_addresses
• entity.domain.registrant.user_display_name
• entity.domain.registrar
• entity.domain.registry_data_raw_text
• entity.domain.status
• entity.domain.tech.attribute.labels
• entity.domain.update_time
• entity.domain.whois_record_raw_text
• entity.domain.whois_server
• entity.domain.zone

如需了解这些字段的说明，请参阅“统一数据模型字段列表”文档。

提取和存储 Google Cloud 威胁情报数据

Google 安全运营中心会从 Google Cloud 威胁情报 (GCTI) 数据源提取数据，为您提供背景信息，以便您在调查环境中的活动时使用。您可以查询以下数据源：

• GCTI Tor 退出节点：已知的 Tor 退出节点的 IP 地址。
• GCTI 良性二进制文件：属于操作系统原始发行版的文件，或由官方操作系统补丁更新的文件。此数据源会排除某些官方操作系统二进制文件，这些文件已被攻击者通过常见于地下活动攻击的活动滥用，例如专注于初始入侵矢量的文件。

• GCTI 远程访问工具：恶意行为者经常使用的文件。 这些工具通常是合法的应用，但有时会被滥用来远程连接到已被入侵的系统。

  这些情境数据会以实体形式在全球范围内存储。您可以使用检测引擎规则查询数据。在规则中添加以下 UDM 字段和值，以查询这些全局实体：

• graph.metadata.vendor_name = Google Cloud Threat Intelligence

• graph.metadata.product_name = GCTI Feed

在本文档中，占位符 <variable_name> 表示规则中用于标识 UDM 记录的唯一变量名称。

限时与永久性 Google Cloud 威胁情报数据源

Google Cloud 威胁情报数据源分为限时和永久两种。

有时间戳的数据源会为每个条目关联一个时间范围。这意味着，如果在第 1 天生成了检测，那么在未来的任何一天，在进行回溯查找时，系统都应针对第 1 天生成相同的检测。

没有时间范围的数据源。这是因为，您只应考虑最新的一组数据。不受时间影响的数据源通常用于预计不会发生变化的数据，例如文件哈希。如果第 1 天未生成任何检测，那么在第 2 天进行回溯时，系统可能会在第 1 天生成检测，因为系统添加了新条目。

有关 Tor 退出节点 IP 地址的数据

Google Security Operations 会提取并存储已知 Tor 退出节点的 IP 地址。Tor 退出节点是流量离开 Tor 网络的点。从此数据源提取的信息存储在以下 UDM 字段中。此来源中的数据带有时间戳。

关于良性操作系统文件的数据

Google Security Operations 会提取并存储 GCTI 良性二进制文件数据源中的文件哈希。从此数据源提取的信息存储在以下 UDM 字段中。此来源中的数据不受时间限制。

有关远程访问工具的数据

远程访问工具包括已知远程访问工具的文件哈希，例如恶意行为者经常使用的 VNC 客户端。这些工具通常是合法应用，但有时会被滥用来远程连接到已被入侵的系统。从此数据源提取的信息会存储在以下 UDM 字段中。此来源中的数据不受时间限制。

使用 VirusTotal 文件元数据丰富事件

Google Security Operations 会将文件哈希添加到 UDM 事件中，并在调查期间提供更多背景信息。UDM 事件会在客户环境中通过哈希别名进行丰富处理。哈希别名会组合所有类型的文件哈希，并在搜索期间提供有关文件哈希的信息。

将 VirusTotal 文件元数据和关系丰富功能与 Google SecOps 集成后，您可以识别恶意活动的模式，并跟踪恶意软件在网络中的活动轨迹。

原始日志仅提供有关文件的有限信息。VirusTotal 会使用文件元数据丰富事件，以提供包含有害哈希的转储以及与有害文件相关的元数据。元数据包括文件名、类型、导入的函数和标记等信息。您可以在 UDM 搜索和检测引擎中将这些信息与 YARA-L 结合使用，以了解恶意文件事件，并在威胁搜索期间使用。一个示例用例是检测原始文件的任何修改，进而导入文件元数据以进行威胁检测。

系统会将以下信息与记录一起存储。如需查看所有 UDM 字段的列表，请参阅统一数据模型字段列表。