Splunk

借助 Splunk 连接器,您可以对 Splunk 数据库执行插入、删除、更新和读取操作。

准备工作

在使用 Splunk 连接器之前,请先完成以下任务:

  • 在您的 Google Cloud 项目中:
    • 确保已设置网络连接。如需了解网络模式,请参阅网络连接
    • 向配置连接器的用户授予 roles/connectors.admin IAM 角色。
    • 将以下 IAM 角色授予您要用其来使用连接器的服务账号:
      • roles/secretmanager.viewer
      • roles/secretmanager.secretAccessor

      服务账号是一种特殊类型的 Google 账号,用于表示需要验证身份并获得授权以访问 Google API 数据的非人类用户。如果您没有服务账号,则必须创建一个服务账号。如需了解详情,请参阅创建服务账号

    • 启用以下服务:
      • secretmanager.googleapis.com (Secret Manager API)
      • connectors.googleapis.com (Connectors API)

      如需了解如何启用服务,请参阅启用服务

    如果之前没有为您的项目启用这些服务或权限,则在您配置连接器时,系统会提示您启用。

配置连接器

一个连接需专用于一个数据源。这意味着,如果您有许多数据源,则必须为每个数据源创建单独的连接。如需创建连接,请执行以下操作:

  1. Cloud 控制台 中,进入 Integration Connectors > 连接页面,然后选择或创建一个 Google Cloud 项目。

    转到“连接”页面

  2. 点击 + 新建以打开创建连接页面。
  3. 位置部分中,选择连接的位置。
    1. 区域:从下拉列表中选择一个位置。

      如需查看所有受支持区域的列表,请参阅位置

    2. 点击下一步
  4. 连接详情部分中,完成以下操作:
    1. 连接器:从可用连接器的下拉列表中选择 Splunk
    2. 连接器版本:从可用版本的下拉列表中选择一个连接器版本。
    3. 连接名称字段中,输入连接实例的名称。

      连接名称必须符合以下条件:

      • 连接名称可以使用字母、数字或连字符。
      • 字母必须小写。
      • 连接名称必须以字母开头,以字母或数字结尾。
      • 连接名称不能超过 49 个字符。
    4. (可选)输入连接实例的说明
    5. 您可以选择启用 Cloud Logging,然后选择日志级别。默认情况下,日志级别设置为 Error
    6. 服务账号:选择具有所需角色的服务账号。
    7. (可选)配置连接节点设置

      • 节点数下限:输入连接节点数下限。
      • 节点数上限:输入连接节点数上限。

      节点是处理事务的连接单元(或副本)。 连接处理越多事务就需要越多节点,相反,处理越少事务需要越少节点。 如需了解节点如何影响连接器价格,请参阅连接节点的价格。如果未输入任何值,则默认情况下,节点数下限设置为 2(以便提高可用性),节点数上限设置为 50。

    8. (可选)点击 + 添加标签,以键值对的形式向连接添加标签。
    9. 点击下一步
  5. 目标部分中,输入要连接到的远程主机(后端系统)的详细信息。
    1. 目标类型:选择目标类型
      • 如需指定目标主机名或 IP 地址,请选择主机地址,然后在主机 1 字段中输入相应地址。
      • 如需建立专用连接,请选择端点连接,然后从端点连接列表中选择所需的连接。

      如果要与后端系统建立公共连接以提高安全性,您可以考虑为连接配置静态出站 IP 地址,然后将防火墙规则配置为仅将特定静态 IP 地址列入许可名单。

      要输入其他目标,请点击 + 添加目标

    2. 点击下一步
  6. 身份验证部分中,输入身份验证详细信息。
    1. 选择身份验证类型,然后输入相关详细信息。

      Splunk 连接支持以下身份验证类型:

      • 用户名和密码(基本身份验证)
      • AccessToken
      • HTTPEventCollectorToken
    2. 如需了解如何配置这些身份验证类型,请参阅配置身份验证

    3. 点击下一步
  7. 查看:查看您的连接和身份验证详细信息。
  8. 点击创建

配置身份验证

根据您要使用的身份验证输入详细信息。

  • 用户名和密码
    • 用户名:用于连接的 Splunk 用户名。
    • 密码:包含与 Splunk 用户名关联的密码的 Secret Manager Secret。
  • AccessToken - 设置此属性可使用 AccessToken 属性执行基于令牌的身份验证。
  • HTTPEventCollectorToken - 设置此属性可使用 HTTPEventCollectorToken 属性执行基于令牌的身份验证。

连接配置示例

本部分列出了创建 Splunk 连接时配置的各个字段的示例值。

HTTP Event Collector 连接类型

字段名称 详细信息
位置 us-central1
连接器 Splunk
连接器版本 1
连接名称 splunk-http-event-coll-conn
启用 Cloud Logging
服务账号 SERVICE_ACCOUNT_NAME@PROJECT_ID.iam.gserviceaccount.com
节点数下限 2
节点数上限 50
启用 SSL
信任存储区不安全连接
目标类型(服务器) 主机地址
主机地址 192.0.2.0
端口 PORT
基于 HTTP Event Collector 令牌的身份验证
HTTPEventCollectorToken HTTPEVENTCOLLECTOR_TOKEN
Secret 版本 1

如需了解如何创建 HTTP 事件收集器令牌,请参阅创建 HTTP 事件收集器

SSL 连接类型

字段名称 详细信息
位置 us-central1
连接器 Splunk
连接器版本 1
连接名称 splunk-ssl-connection
启用 Cloud Logging
服务账号 SERVICE_ACCOUNT_NAME@PROJECT_ID.iam.gserviceaccount.com
详细程度 5
节点数下限 2
节点数上限 50
启用 SSL
不安全的连接
目标类型(服务器) 主机地址
主机地址 https://192.0.2.0
端口 PORT
用户密码
用户名 用户
密码 PASSWORD
Secret 版本 1

对于基本身份验证,您必须拥有用户角色或超级用户角色。如需了解如何配置超级用户,请参阅配置超级用户角色。如需了解如何在 Splunk 中定义角色,请参阅在 Splunk 平台上定义角色

实体、操作和动作

所有集成连接器都会为所连接应用的对象提供抽象层。您只能通过此抽象访问应用的对象。抽象作为实体、操作和动作向您展示。

  • 实体:实体可以被视为连接的应用或服务中的对象或属性集合。不同连接器的实体定义也会有所不同。例如,在数据库连接器中,表是实体;在文件服务器连接器中,文件夹是实体;在消息传递系统连接器中,队列是实体。

    但可能的情况是,连接器不支持或不具有任何实体,在这种情况下,Entities 列表将为空。

  • 操作:操作是指您可以对实体执行的操作。您可以对实体执行以下任一操作:

    从可用列表中选择一个实体,系统会生成该实体可用的操作列表。如需了解操作的详细说明,请参阅连接器任务的实体操作。不过,如果连接器不支持任何实体操作,则不支持的操作不会列在 Operations 列表中。

  • 动作:动作是可通过连接器接口提供给集成的头等函数。动作可让您对一个或多个实体进行更改,并且动作因连接器而异。通常,操作会包含一些输入参数和一个输出参数。但可能的情况是,连接器不支持任何动作,在这种情况下,Actions 列表将为空。

系统限制

Splunk 连接器每秒每个节点可处理 5 个事务,并会限制超出此限制的任何事务。不过,此连接器可处理的交易数量还取决于 Splunk 实例施加的限制。默认情况下,Integration Connectors 会为连接分配 2 个节点(以提高可用性)。

如需了解适用于 Integration Connectors 的限制,请参阅限制

操作

本部分列出了连接器支持的操作。如需了解如何配置操作,请参阅操作示例

CreateHTTPEvent 操作

此操作可让您通过 HTTP 和 HTTPS 协议将数据和应用事件发送到 Splunk 部署。

CreateHTTPEvent 操作的输入参数

参数名称 数据类型 必需 说明
EventContent 字符串 表或视图的名称。
ContentType 字符串 EventContent 输入指定的内容类型。支持的值包括 JSONRAWTEXT
ChannelGUID 整数 用于相应事件的渠道的 GUID。如果 ContentTypeRAWTEXT,您必须指定此值。

CreateHTTPEvent 操作的输出参数

此操作会返回所创建事件的成功状态。

CreateIndex 操作

此操作可让您创建索引。

CreateIndex 操作的输入参数

参数名称 数据类型 必需 说明
MaxMetaEntries 字符串 设置存储桶中 .data 文件中的唯一行数上限,这有助于减少内存消耗。
FrozenTimePeriodInSecs 字符串 索引数据滚动到冻结状态的秒数。默认值为 188697600(6 年)。
HomePath 字符串 包含索引的热桶和温桶的绝对路径。
MinRawFileSyncSecs 字符串 为此参数指定一个整数(或 disable)。此参数用于设置 splunkd 在压缩日志切片时强制执行文件系统同步的频率。
ProcessTrackerServiceInterval 字符串 指定索引器检查其启动的子操作系统进程状态的频率(以秒为单位),以确定是否可以为排队的请求启动新进程。 如果设置为 0,索引器每秒检查一次子进程状态。
ServiceMetaPeriod 字符串 定义元数据同步到磁盘的频率(以秒为单位)。
MaxHotSpanSecs 字符串 热门或温热分桶的目标最长时限(以秒为单位)的上限。
QuarantinePastSecs 字符串 时间戳早于 quarantinePastSecs >now 的事件会被放入隔离区存储桶。
ColdToFrozenDir 字符串 冻结归档的目标路径。用作 ColdToFrozenScript 的替代方案。
ColdPath 字符串 包含索引的 colddb 的绝对路径。该路径必须可读写。
MaxHotIdleSecs 字符串 热门存储桶的最长生命周期(以秒为单位)
WarmToColdScript 字符串 将数据从温存储移至冷存储时要运行的脚本的路径。
ColdToFrozenScript 字符串 归档脚本的路径。
MaxHotBuckets 字符串 每个索引可拥有的热门存储分区数量上限。
TstatsHomePath 字符串 用于存储相应索引的数据模型加速 TSIDX 数据的位置。 如果指定,则必须根据卷定义进行定义。路径必须可写入
RepFactor 字符串 索引复制控制。此参数仅适用于集群中的对等节点。
  • 自动 - 使用主索引复制配置值。
  • 0 - 针对相应索引关闭复制功能。
MaxDataSize 字符串 热门数据库在触发向温数据库滚动之前可达到的最大大小(以 MB 为单位)。 指定 autoauto_high_volume 会使 Splunk 自动调整此参数(推荐)。
MaxBloomBackfillBucketAge 字符串 有效值:integer[m|s|h|d] 如果暖存储桶或冷存储桶的年龄超过指定时长,则不创建或重建其 Bloom 过滤器。指定 0 表示永不重建 Bloom 过滤器。
BlockSignSize 字符串 控制块签名中一个块包含的事件数量。如果此值设置为 0,则会针对相应索引停用块签名。建议值为 100。
名称 字符串 要创建的索引的名称
MaxTotalDataSizeMB 字符串 索引的大小上限(以 MB 为单位)。如果索引的大小超过上限,系统会冻结最旧的数据。
MaxWarmDBCount 字符串 暖存储分区的最大数量。如果超出此数量,则会将最新时间值最低的暖存储桶移至冷存储桶。
RawChunkSizeBytes 字符串 索引的原始数据日志中各个原始切片的未压缩目标大小(以字节为单位)。0 不是有效值。如果指定了 0,则 rawChunkSizeBytes 会设置为默认值。
DataType 字符串 指定索引的类型
MaxConcurrentOptimizes 字符串 可针对热门存储桶运行的并发优化进程的数量。
ThrottleCheckPeriod 字符串 定义 Splunk 检查索引节流条件的频率(以秒为单位)。
SyncMeta 字符串 如果为 true,则在元数据文件更新时,会在关闭文件描述符之前调用同步操作。此功能可提高元数据文件的完整性,尤其是在操作系统崩溃或机器故障方面。
RotatePeriodInSecs 字符串 检查是否需要创建新的热门存储桶的频率(以秒为单位)。此外,还包括检查是否应滚动/冻结任何温/冷分桶的频率。

CreateIndex 操作的输出参数

此操作会返回 CreateIndex 操作的确认消息。

如需查看有关如何配置 CreateIndex 操作的示例,请参阅操作示例

CreateSavedSearch 操作

此操作可让您保存搜索记录

CreateSavedSearch 操作的输入参数

参数名称 数据类型 必需 说明
IsVisible 布尔值 表示相应已保存的搜索是否显示在可见的已保存搜索列表中。
RealTimeSchedule 布尔值 如果此值设置为 1,调度器会根据当前时间来确定下一次预定搜索执行时间。如果此值设置为 0,则根据上次搜索执行时间确定。
搜索 字符串 要保存的搜索查询
说明 字符串 相应已保存的搜索的说明
SchedulePriority 字符串 指示特定搜索的调度优先级
CronSchedule 字符串 执行相应搜索的 Cron 时间表。例如,*/5 * * * * 会导致每 5 分钟执行一次搜索。
名称 字符串 搜索的名称
UserContext 字符串 如果提供了用户上下文,则使用 servicesNS 节点 (/servicesNS/[UserContext]/search);否则,默认使用常规端点 /services
RunOnStartup 布尔值 指示相应搜索是否在启动时运行。如果未在启动时运行,则会在下一个预定时间运行搜索。
已停用 布尔值 指示相应已保存的搜索是否已停用。
IsScheduled 布尔值 指示此搜索是否按计划运行。

CreateSavedSearch 操作的输出参数

此操作会返回 CreateSavedSearch 操作的确认消息。

如需查看有关如何配置 CreateSavedSearch 操作的示例,请参阅操作示例

UpdateSavedSearch 操作

此操作可让您更新已保存的搜索。

UpdateSavedSearch 操作的输入参数

参数名称 数据类型 必需 说明
IsVisible 布尔值 表示相应已保存的搜索是否显示在可见的已保存搜索列表中。
RealTimeSchedule 布尔值 如果此值设置为 1,调度器会根据当前时间来确定下一次预定搜索执行时间。如果此值设置为 0,则根据上次搜索执行时间确定。
搜索 字符串 要保存的搜索查询
说明 字符串 相应已保存的搜索的说明
SchedulePriority 字符串 指示特定搜索的调度优先级
CronSchedule 字符串 执行相应搜索的 Cron 时间表。例如,*/5 * * * * 会导致搜索每 5 分钟执行一次。
名称 字符串 搜索的名称
UserContext 字符串 如果提供了用户上下文,则使用 servicesNS 节点 (/servicesNS/[UserContext]/search);否则,默认使用常规端点 /services
RunOnStartup 布尔值 指示相应搜索是否在启动时运行。如果未在启动时运行,则会在下一个预定时间运行搜索。
已停用 布尔值 指示相应已保存的搜索是否已停用。
IsScheduled 布尔值 指示此搜索是否按计划运行。

UpdateSavedSearch 操作的输出参数

此操作会返回 UpdateSavedSearch 操作的确认消息。

如需查看有关如何配置 UpdateSavedSearch 操作的示例,请参阅操作示例

DeleteIndex 操作

此操作可让您删除索引。

DeleteIndex 操作的输入参数

参数名称 数据类型 必需 说明
名称 字符串 要删除的索引的名称。

DeleteIndex 操作的输出参数

此操作会返回 DeleteIndex 操作的确认消息

如需查看有关如何配置 DeleteIndex 操作的示例,请参阅操作示例

UpdateIndex 操作

此操作可用于更新索引。

UpdateIndex 操作的输入参数

参数名称 数据类型 必需 说明
MaxMetaEntries 字符串 设置存储桶中 .data 文件中的唯一行数上限,这有助于减少内存消耗。
FrozenTimePeriodInSecs 字符串 索引数据滚动到冻结状态的秒数。默认值为 188697600(6 年)。
HomePath 字符串 包含索引的热桶和温桶的绝对路径。
MinRawFileSyncSecs 字符串 为此参数指定一个整数(或 disable)。此参数用于设置 splunkd 在压缩日志切片时强制执行文件系统同步的频率。
ProcessTrackerServiceInterval 字符串 指定索引器检查其启动的子操作系统进程状态的频率(以秒为单位),以确定是否可以为排队的请求启动新进程。如果设置为 0,索引器每秒检查一次子进程状态。
ServiceMetaPeriod 字符串 定义元数据同步到磁盘的频率(以秒为单位)。
MaxHotSpanSecs 字符串 热门或温热分桶的目标最长时限(以秒为单位)的上限。
QuarantinePastSecs 字符串 时间戳早于 quarantinePastSecs now 的事件会被放入隔离区存储桶。
ColdToFrozenDir 字符串 冻结归档的目标路径。用作 ColdToFrozenScript 的替代方案。
ColdPath 字符串 包含索引的 colddb 的绝对路径。该路径必须可读写。
MaxHotIdleSecs 字符串 热门存储桶的最长生命周期(以秒为单位)。
WarmToColdScript 字符串 将数据从温存储移至冷存储时要运行的脚本的路径。
ColdToFrozenScript 字符串 归档脚本的路径。
MaxHotBuckets 字符串 每个索引可拥有的热门存储分区数量上限。
TstatsHomePath 字符串 用于存储相应索引的数据模型加速 TSIDX 数据的位置。如果指定,则必须根据卷定义进行定义。路径必须可写入
RepFactor 字符串 索引复制控制。此参数仅适用于集群中的对等节点。
  • 自动 - 使用主索引复制配置值。
  • 0 - 针对相应索引关闭复制功能。
MaxDataSize 字符串 热门数据库在触发向温数据库滚动之前可达到的最大大小(以 MB 为单位)。 指定 autoauto_high_volume 会使 Splunk 自动调整此参数(推荐)。
MaxBloomBackfillBucketAge 字符串 有效值:integer[m|s|h|d] 如果暖存储桶或冷存储桶的年龄超过指定年龄,则不创建或重建其 Bloom 过滤器。指定 0 表示永不重建 Bloom 过滤器。
BlockSignSize 字符串 控制块签名中一个块包含的事件数量。如果此值设置为 0,则会针对相应索引停用块签名。建议值为 100。
名称 字符串 要创建的索引的名称
MaxTotalDataSizeMB 字符串 索引的大小上限(以 MB 为单位)。如果索引的大小超过上限,系统会冻结最旧的数据。
MaxWarmDBCount 字符串 暖存储分区的最大数量。如果超出此数量,则会将最新时间值最低的暖存储桶移至冷存储桶。
RawChunkSizeBytes 字符串 索引的原始数据日志中各个原始切片的未压缩目标大小(以字节为单位)。 0 不是有效值。如果指定了 0,则 rawChunkSizeBytes 会设置为默认值。
DataType 字符串 指定索引的类型
MaxConcurrentOptimizes 字符串 可针对热门存储桶运行的并发优化进程的数量。
ThrottleCheckPeriod 字符串 定义 Splunk 检查索引节流条件的频率(以秒为单位)。
SyncMeta 字符串 如果为 true,则在元数据文件更新时,会在关闭文件描述符之前调用同步操作。此功能可提高元数据文件的完整性,尤其是在操作系统崩溃或机器故障方面。
RotatePeriodInSecs 字符串 检查是否需要创建新的热门存储桶的频率(以秒为单位)。此外,还包括检查是否有任何应滚动或冻结的温存储分区或冷存储分区的频率。

UpdateIndex 操作的输出参数

此操作会返回 UpdateIndex 操作的确认消息。

如需查看有关如何配置 UpdateIndex 操作的示例,请参阅操作示例

操作示例

示例 - 创建 HTTP 事件

此示例会创建一个 HTTP 事件。

  1. Configure connector task 对话框中,点击 Actions
  2. 选择 CreateHTTPEvent 操作,然后点击完成
  3. 连接器任务的任务输入部分中,点击 connectorInputPayload,然后在 Default Value 字段中输入类似于以下内容的值:
    {
    "EventContent": "Testing Task",
    "ContentType": "RAWTEXT",
    "ChannelGUID": "ContentType=RAWTEXT"
    }
  4. 如果操作成功,CreateHTTPEvent 任务的 connectorOutputPayload 响应形参将具有类似以下的值:

    [{
    "Success": "Success"
    }] 
    

示例 - 创建索引

此示例会创建一个索引。

  1. Configure connector task 对话框中,点击 Actions
  2. 选择 CreateIndex 操作,然后点击完成
  3. 连接器任务的任务输入部分中,点击 connectorInputPayload,然后在 Default Value 字段中输入类似于以下内容的值:
    {
    "Name": "http_testing"
    }
  4. 如果操作成功,CreateIndex 任务的 connectorOutputPayload 响应形参将具有类似以下的值:

    [{
    "AssureUTF8": null,
    "BlockSignSize": null,
    "BlockSignatureDatabase": null,
    "BucketRebuildMemoryHint": null,
    "ColdPath": null,
    "FrozenTimePeriodInSecs": null,
    "HomePath": null,
    "HomePathExpanded": null,
    "IndexThreads": null,
    "IsInternal": null,
    "MaxConcurrentOptimizes": null,
    "MaxDataSize": null,
    "MaxHotBuckets": null,
    "SuppressBannerList": null,
    "Sync": null,
    "SyncMeta": null,
    "ThawedPath": null,
    "ThawedPathExpanded": null,
    "TstatsHomePath": null,
    "WarmToColdScript": null,
    }]

此示例会创建一个已保存的搜索。

  1. Configure connector task 对话框中,点击 Actions
  2. 选择 CreateSavedSearch 操作,然后点击完成
  3. 连接器任务的任务输入部分中,点击 connectorInputPayload,然后在 Default Value 字段中输入类似于以下内容的值:
    {
    "Name": "test_created_g",
    "Search": "index=\"http_testing\"",
    "CronSchedule": "*/1 * * * *",
    "IsVisible": true,
    "RealTimeSchedule": true,
    "RunOnStartup": true,
    "IsScheduled": true,
    "SchedulePriority": "highest",
    "UserContext": "nobody"
    }
  4. 如果操作成功,CreateSavedSearch 任务的 connectorOutputPayload 响应形参将具有类似以下的值:

    [{
    "Success": true,
    "Message": null
    }]

此示例更新了已保存的搜索。

  1. Configure connector task 对话框中,点击 Actions
  2. 选择 UpdateSavedSearch 操作,然后点击完成
  3. 连接器任务的任务输入部分中,点击 connectorInputPayload,然后在 Default Value 字段中输入类似于以下内容的值:
    {
    "Name": "test_created_g",
    "Search": "index=\"december_test_data\"",
    "CronSchedule": "*/1 * * * *",
    "IsVisible": true,
    "RealTimeSchedule": true,
    "RunOnStartup": true,
    "IsScheduled": true,
    "SchedulePriority": "highest"
    }
  4. 如果操作成功,UpdateSavedSearch 任务的 connectorOutputPayload 响应形参将具有类似以下的值:

    [{
    "Success": true,
    "Message": null
    }]

示例 - 删除索引

此示例会删除索引。

  1. Configure connector task 对话框中,点击 Actions
  2. 选择 DeleteIndex 操作,然后点击完成
  3. 连接器任务的任务输入部分中,点击 connectorInputPayload,然后在 Default Value 字段中输入类似于以下内容的值:
    {
    "Name": "g_http_testing"
    }
  4. 如果操作成功,DeleteIndex 任务的 connectorOutputPayload 响应形参将具有类似以下的值:

    [{
    "Success": true,
    "ErrorCode": null,
    "ErrorMessage": null
    }]

示例 - 更新索引

此示例用于更新索引。

  1. Configure connector task 对话框中,点击 Actions
  2. 选择 UpdateIndex 操作,然后点击完成
  3. 连接器任务的任务输入部分中,点击 connectorInputPayload,然后在 Default Value 字段中输入类似于以下内容的值:
    {
    "MaxTotalDataSizeMB": "400000",
    "Name": "g_http_testing"
    }
  4. 如果操作成功,UpdateIndex 任务的 connectorOutputPayload 响应形参将具有类似以下的值:

    [{
    "AssureUTF8": false,
    "BlockSignSize": null,
    "BlockSignatureDatabase": null,
    "BucketRebuildMemoryHint": "auto",
    "ColdPath": "$SPLUNK_DB\\g_http_testing\\colddb",
    "ColdPathExpanded": "C:\\Program Files\\Splunk\\var\\lib\\splunk\\g_http_testing\\colddb",
    "ColdToFrozenDir": "",
    "ColdToFrozenScript": "",
    "CurrentDBSizeMB": 1.0,
    "DefaultDatabase": "main",
    "EnableOnlineBucketRepair": true,
    "EnableRealtimeSearch": true,
    "FrozenTimePeriodInSecs": 1.886976E8,
    "HomePath": "$SPLUNK_DB\\g_http_testing\\db",
    "HomePathExpanded": "C:\\Program Files\\Splunk\\var\\lib\\splunk\\g_http_testing\\db",
    "IndexThreads": "auto",
    "IsInternal": false,
    "LastInitTime": "2024-01-08 05:15:28.0",
    "MaxBloomBackfillBucketAge": "30d",
    "ThawedPath": "$SPLUNK_DB\\g_http_testing\\thaweddb",
    "ThawedPathExpanded": "C:\\Program Files\\Splunk\\var\\lib\\splunk\\g_http_testing\\thaweddb",
    "ThrottleCheckPeriod": 15.0,
    "TotalEventCount": 0.0,
    "TsidxDedupPostingsListMaxTermsLimit": 8388608.0,
    "TstatsHomePath": "volume:_splunk_summaries\\$_index_name\\datamodel_summary",
    "WarmToColdScript": "",
    "Success": true,
    "ErrorCode": null,
    "ErrorMessage": null
    }]

实体操作示例

本部分介绍如何在此连接器中执行一些实体操作。

示例 - 列出所有记录

此示例列出了 SearchJobs 实体中的所有记录。

  1. Configure connector task 对话框中,点击 Entities
  2. Entity 列表中选择 SearchJobs
  3. 选择 List 操作,然后点击完成
  4. (可选)在连接器任务的任务输入部分,您可以通过指定过滤条件子句来过滤结果集。 请务必使用英文单引号 (') 括起过滤条件子句值。

示例 - 从实体获取记录

此示例从 SearchJobs 实体中获取具有指定 ID 的记录。

  1. Configure connector task 对话框中,点击 Entities
  2. Entity 列表中选择 SearchJobs
  3. 选择 Get 操作,然后点击完成
  4. 连接器任务的任务输入部分,点击 EntityId,然后在默认值字段中输入 1698309163.1300

    其中,1698309163.1300SearchJobs 实体的唯一记录 ID。

示例 - 在实体中创建记录

此示例在 SearchJobs 实体中创建一条记录。

  1. Configure connector task 对话框中,点击 Entities
  2. Entity 列表中选择 SearchJobs
  3. 选择 Create 操作,然后点击完成
  4. 数据映射任务的数据映射器部分中,点击 Open Data Mapping Editor,然后在 Input Value 字段中输入类似于以下内容的值,并选择 EntityId/ConnectorInputPayload 作为局部变量。
    { 
    "EventSearch": "search (index=\"antivirus_logs\") sourcetype=access_combined | rex  \"(?\\d{1,3}\\.\\d{1,3}\\.\\d{1,3}\\.\\d{1,3})\" | iplocation IP_address| table IP_address, City, Country" 
    } 
    

    如果集成成功,SearchJobs 任务的 connectorOutputPayload 响应形参将具有类似以下的值:

    {
    "Sid": "1699336785.1919"
    } 
    

示例 - 在实体中创建记录

此示例在 DataModels 实体中创建一条记录。

  1. Configure connector task 对话框中,点击 Entities
  2. Entity 列表中选择 DataModels
  3. 选择 Create 操作,然后点击完成
  4. 连接器任务的任务输入部分中,点击 connectorInputPayload,然后在 Default Value 字段中输入类似于以下内容的值:
    {
    "Id": "Test1",
    "Acceleration": "{\"enabled\":false,\"earliest_time\":\"\",
    \"max_time\":3600,\"backfill_time\":\"\",\"source_guid\":\"\",
    \"manual_rebuilds\":false,\"poll_buckets_until_maxtime\":false,
    \"max_concurrent\":3,\"allow_skew\":\"0\",\"schedule_priority\":\"default\"
    ,\"allow_old_summaries\":false,\"hunk.file_format\":\"\",\"hunk.dfs_block_size\":0,
    \"hunk.compression_codec\":\"\",\"workload_pool\":\"\"}"
    }

    如果集成成功,连接器任务的 connectorOutputPayload 字段将具有类似以下内容的值:

    [{
    "Id": "Test1"
    }]

示例 - 从实体中删除记录

此示例会删除 DataModels 实体中具有指定 ID 的记录。

  1. Configure connector task 对话框中,点击 Entities
  2. Entity 列表中选择 DataModels
  3. 选择 Delete 操作,然后点击完成
  4. 连接器任务的任务输入部分,点击 entityId,然后在默认值字段中输入 Test1

示例 - 更新实体中的记录

此示例更新了 DataModels 实体中的记录。

  1. Configure connector task 对话框中,点击 Entities
  2. Entity 列表中选择 DataModels
  3. 选择 Update 操作,然后点击完成
  4. 连接器任务的任务输入部分中,点击 connectorInputPayload,然后在 Default Value 字段中输入类似于以下内容的值:
    {
    "Acceleration": "{\"enabled\":true,\"earliest_time\":\"-3mon\",
    \"cron_schedule\":\"*/5 * * * *\",\"max_time\":60,
    \"backfill_time\":\"\",\"source_guid\":\"\",\"manual_rebuilds\":false,
    \"poll_buckets_until_maxtime\":false,\"max_concurrent\":3,
    \"allow_skew\":\"0\",\"schedule_priority\":\"default\",
    \"allow_old_summaries\":false,\"hunk.file_format\":\"\",\"hunk.dfs_block_size\":0,
    \"hunk.compression_codec\":\"\",\"workload_pool\":\"\"}"
    }
  5. 点击 entityId,然后在默认值字段中输入 /servicesNS/nobody/search/datamodel/model/Testing

    如果集成成功,连接器任务的 connectorOutputPayload 字段将具有类似以下内容的值:

    [{
    "Id": "/servicesNS/nobody/search/datamodel/model/Testing"
    }]

示例 - 使用索引的搜索流程

本部分列出了使用单个索引和多个索引的所有搜索流程。

使用单个索引创建搜索

  1. Configure connector task 对话框中,点击 Entities
  2. Entity 列表中选择 SearchJobs
  3. 选择 Create 操作,然后点击完成
  4. 数据映射任务的数据映射器部分中,点击 Open Data Mapping Editor,然后在 Input Value 字段中输入类似于以下内容的值,并选择 EntityId/ConnectorInputPayload 作为局部变量。
    {
    "EventSearch": "search (index=\"http_testing\" sourcetype=\"googlecloud-testing\") "
    }
    

    如果集成成功,SearchJobs 任务的 connectorOutputPayload 响应形参将具有类似以下的值:

    {
    "Sid": "1726051471.76"
    } 
    

使用搜索查询中使用的索引名称执行列表操作

  1. Configure connector task 对话框中,点击 Entities
  2. Entity 列表中选择 Index Name
  3. 选择 List 操作,然后点击完成
  4. 连接器任务的任务输入部分,您可以设置 filterClause,例如 Sid= '1726051471.76'。

  5. 如果集成成功,Index Name 任务的 connectorOutputPayload 响应形参将具有类似以下的值:

    [{
      "_bkt": "http_testing~0~D043151E-5A2D-4FAB-8647-4D5DA2F288AF",
      "_cd": "00:04:00",
      "_eventtype_color": null,
      "_indextime": 1.720702012E9,
      "_kv": null,
      "_raw": "hi How r yo\nplease\nfind \nmy notes",
      "_serial": 0.0,
      "_si": "googlecloud-bcone-splunk-vm\nhttp_testing",
      "_sourcetype": "googlecloud-testing",
      "_time": "2024-07-11 12:46:52.0",
      "eventtype": null,
      "host": "googlecloud-bcone-splunk-vm",
      "index": "http_testing",
      "linecount": 4.0,
      "punct": null,
      "source": "Testing.txt",
      "sourcetype": "googlecloud-testing",
      "splunk_server": "googlecloud-bcone-splunk-vm",
      "splunk_server_group": null,
      "timestamp": null,
      "JobId": "1726051471.76"
    }]
    

使用多个索引创建搜索

  1. Configure connector task 对话框中,点击 Entities
  2. Entity 列表中选择 SearchJobs
  3. 选择 Create 操作,然后点击完成
  4. 数据映射任务的数据映射器部分中,点击 Open Data Mapping Editor,然后在 Input Value 字段中输入类似于以下内容的值,并选择 EntityId/ConnectorInputPayload 作为局部变量。
    {
    "EventSearch": "search (index=\"http_testing\" OR index= \"googlecloud-demo\" sourcetype=\"googlecloud-testing\"  OR sourcetype=\"Demo_Text\")"
    }
    

    如果集成成功,SearchJobs 任务的 connectorOutputPayload 响应形参将具有类似以下的值:

    {
    "Sid": "1727261971.4007"
    } 
    

使用搜索查询中使用的索引名称的列表操作

  1. Configure connector task 对话框中,点击 Entities
  2. Entity 列表中选择 Index Name 名称。
  3. 选择 List 操作,然后点击完成
  4. 连接器任务的任务输入部分,您可以设置 filterClause,例如 Sid= '1727261971.4007'。

  5. 如果集成成功,Index 任务的 connectorOutputPayload 响应形参将具有类似以下的值:

     [{
      "_bkt": "googlecloud-demo~0~D043151E-5A2D-4FAB-8647-4D5DA2F288AF",
      "_cd": "00:04:00",
      "_eventtype_color": null,
      "_indextime": 1.727155516E9,
      "_kv": null,
      "_raw": "Hi team\nwe have a demo please plan accordingly\nwith Google team",
      "_serial": 0.0,
      "_si": "googlecloud-bcone-splunk-vm\ngooglecloud-demo",
      "_sourcetype": "Demo_Text",
      "_time": "2024-09-24 05:25:16.0",
      "eventtype": null,
      "host": "googlecloud-bcone-splunk-vm",
      "index": "googlecloud-demo",
      "linecount": 3.0,
      "punct": null,
      "source": "Splunk_Demo.txt",
      "sourcetype": "Demo_Text",
      "splunk_server": "googlecloud-bcone-splunk-vm",
      "splunk_server_group": null,
      "timestamp": null,
      "JobId": "1727261971.4007"
    }, {
      "_bkt": "http_testing~0~D043151E-5A2D-4FAB-8647-4D5DA2F288AF",
      "_cd": "00:04:00",
      "_eventtype_color": null,
      "_indextime": 1.720702012E9,
      "_kv": null,
      "_raw": "hi How r yo\nplease\nfind \nmy notes",
      "_serial": 1.0,
      "_si": "googlecloud-bcone-splunk-vm\nhttp_testing",
      "_sourcetype": "googlecloud-testing",
      "_time": "2024-07-11 12:46:52.0",
      "eventtype": null,
      "host": "googlecloud-bcone-splunk-vm",
      "index": "http_testing",
      "linecount": 4.0,
      "punct": null,
      "source": "Testing.txt",
      "sourcetype": "googlecloud-testing",
      "splunk_server": "googlecloud-bcone-splunk-vm",
      "splunk_server_group": null,
      "timestamp": null,
      "JobId": "1727261971.4007"
    }]
    

示例 - 使用 ReadJobResults 的搜索流程

本部分列出了 Splunk 连接支持的所有使用单个索引和多个索引的搜索流程。目前,支持的日志结果的载荷大小上限为 150MB。

创建使用单个索引的搜索

  1. Configure connector task 对话框中,点击 Entities
  2. Entity 列表中选择 SearchJobs
  3. 选择 Create 操作,然后点击完成
  4. 数据映射任务的数据映射器部分中,点击 Open Data Mapping Editor,然后在 Input Value 字段中输入类似于以下内容的值,并选择 EntityId/ConnectorInputPayload 作为局部变量。
    {
    "EventSearch": "search (index=\"http_testing\" sourcetype=\"googlecloud-testing\") "
    }
    

    此示例会创建一个搜索。如果集成成功,SearchJobs 任务的 connectorOutputPayload 响应参数将具有类似以下的值:

    {
    "Sid": "1732775755.24612"
    } 
    

如需获取搜索结果,请对 ReadJobResults 操作执行创建操作。为确保结果根据 Sid 进行过滤,请将 Sid 作为参数传递给操作。

使用 ReadJobResults 操作获取结果日志

  1. Configure connector task 对话框中,点击 Actions
  2. 选择 ReadJobResults 操作,然后点击完成
  3. 数据映射任务的数据映射器部分中,点击 Open Data Mapping Editor,然后在 Input Value 字段中输入类似于以下内容的值,并选择 EntityId/ConnectorInputPayload 作为局部变量。
    {
    "Sid": "1732775755.24612"
    }
    
  4. 如果操作成功,ReadJobResults 任务的 connectorOutputPayload 响应形参将具有类似以下的值:

    [{
    "_bkt": "http_testing~0~D043151E-5A2D-4FAB-8647-4D5DA2F288AF",
    "_cd": "0:4",
    "_indextime": "1720702012",
    "_raw": "hi How r yo\nplease\nfind \nmy notes",
    "_serial": "1",
    "_si": "googlecloud-bcone-splunk-vm\nhttp_testing",
    "_sourcetype": "googlecloud-testing",
    "_time": "2024-07-11T12:46:52.000+00:00",
    "host": "googlecloud-bcone-splunk-vm",
    "index": "http_testing",
    "linecount": "4",
    "source": "Testing.txt",
    "sourcetype": "googlecloud-testing",
    "splunk_server": "googlecloud-bcone-splunk-vm",
    "jobid": "1732775755.24612",
    "sid": "1732775755.24612"
    }]
    

创建包含多个索引的搜索

  1. Configure connector task 对话框中,点击 Entities
  2. Entity 列表中选择 SearchJobs
  3. 选择 Create 操作,然后点击完成
  4. 数据映射任务的数据映射器部分中,点击 Open Data Mapping Editor,然后在 Input Value 字段中输入类似于以下内容的值,并选择 EntityId/ConnectorInputPayload 作为局部变量。
    {
    "EventSearch": "search (index=\"http_testing\" OR index= \"googlecloud-demo\" sourcetype=\"googlecloud-testing\"  OR sourcetype=\"Demo_Text\")"
    }
    

    如果集成成功,SearchJobs 任务的 connectorOutputPayload 响应形参将具有类似以下的值:

    {
    "Sid": "1732776556.24634"
    } 
    

如需获取搜索结果,请对 ReadJobResults 操作执行创建操作。为确保结果根据 Sid 进行过滤,请将 Sid 作为参数传递给操作。

使用 ReadJobResults 操作的 ResultsLogs

  1. Configure connector task 对话框中,点击 Actions
  2. 选择 ReadJobResults 操作,然后点击完成
  3. 数据映射任务的数据映射器部分中,点击 Open Data Mapping Editor,然后在 Input Value 字段中输入类似于以下内容的值,并选择 EntityId/ConnectorInputPayload 作为局部变量。
    {
    "Sid": "1732776556.24634"
    }
    
  4. 如果操作成功,ReadJobResults 任务的 connectorOutputPayload 响应形参将具有类似以下的值:

    [{
    "_bkt": "googlecloud-demo~0~D043151E-5A2D-4FAB-8647-4D5DA2F288AF",
    "_cd": "0:4",
    "_indextime": "1727155516",
    "_raw": "Hi team\nwe have a demo please plan accordingly\nwith Google team",
    "_serial": "0",
    "_si": "googlecloud-bcone-splunk-vm\googlecloud-demo",
    "_sourcetype": "Demo_Text",
    "_time": "2024-09-24T05:25:16.000+00:00",
    "host": "googlecloud-bcone-splunk-vm",
    "index": "googlecloud-demo",
    "linecount": "3",
    "source": "Splunk_Demo.txt",
    "sourcetype": "Demo_Text",
    "splunk_server": "googlecloud-bcone-splunk-vm",
    "jobid": "1732776556.24634",
    "sid": "1732776556.24634"
    },{
    "_bkt": "http_testing~0~D043151E-5A2D-4FAB-8647-4D5DA2F288AF",
    "_cd": "0:4",
    "_indextime": "1720702012",
    "_raw": "hi How r yo\nplease\nfind \nmy notes",
    "_serial": "1",
    "_si": "googlecloud-bcone-splunk-vm\nhttp_testing",
    "_sourcetype": "googlecloud-testing",
    "_time": "2024-07-11T12:46:52.000+00:00",
    "host": "googlecloud-bcone-splunk-vm",
    "index": "http_testing",
    "linecount": "4",
    "source": "Testing.txt",
    "sourcetype": "googlecloud-testing",
    "splunk_server": "googlecloud-bcone-splunk-vm",
    "jobid": "1732776556.24634",
    "sid": "1732776556.24634"
    }]
    

    使用 Terraform 创建连接

    您可以使用 Terraform 资源创建新连接。

    如需了解如何应用或移除 Terraform 配置,请参阅基本 Terraform 命令

    如需查看用于创建连接的 Terraform 模板示例,请参阅模板示例

    使用 Terraform 创建此连接时,您必须在 Terraform 配置文件中设置以下变量:

    参数名称 数据类型 必需 说明
    详细程度 STRING 错误 连接的详细程度,范围为 1-5。如果详细程度较高,系统会记录所有通信详情(请求、响应和 SSL 证书)。
    proxy_enabled BOOLEAN 错误 选中此复选框可为连接配置代理服务器。
    proxy_auth_scheme ENUM 错误 用于向 ProxyServer 代理进行身份验证的身份验证类型。支持的值包括:BASIC、DIGEST、NONE
    proxy_user STRING 错误 用于向 ProxyServer 代理进行身份验证的用户名。
    proxy_password SECRET 错误 用于向 ProxyServer 代理进行身份验证的密码。
    proxy_ssltype ENUM 错误 连接到 ProxyServer 代理时使用的 SSL 类型。支持的值包括:AUTO、ALWAYS、NEVER、TUNNEL

    在集成中使用 Splunk 连接

    创建连接后,该连接将在 Apigee Integration 和 Application Integration 中可用。您可以通过“连接器”任务在集成中使用该连接。

    • 如需了解如何在 Apigee Integration 中创建和使用连接器任务,请参阅连接器任务
    • 如需了解如何在 Application Integration 中创建和使用连接器任务,请参阅连接器任务

    向 Google Cloud 社区寻求帮助

    您可以在 Google Cloud 社区的 Cloud 论坛中发布您的问题以及讨论此连接器。

    后续步骤