配置 BigQuery Connector for SAP

本指南介绍了如何配置 BigQuery Connector for SAP。

准备工作

请确保您或您的管理员已满足以下前提条件：

  • 已在 SAP 环境中安装 BigQuery Connector for SAP。

  • 已设置身份验证以访问 BigQuery API。

  • 已启用以下 Google Cloud API：

    • BigQuery API
    • IAM Service Account Credentials API

    如需了解如何启用 Google Cloud API，请参阅启用 API。

创建 BigQuery 数据集

如需创建 BigQuery 数据集，您的用户账号必须具有针对 BigQuery 的适当 IAM 权限。如需了解详情，请参阅所需权限。

  1. 在 Google Cloud 控制台中，前往 BigQuery 页面：

    转到 BigQuery

  2. 点击您的项目 ID 旁边的查看操作图标 ，然后点击创建数据集。

    前文中描述的示意图

  3. 在数据集 ID 字段中，输入一个唯一名称。如需了解详情，请参阅命名数据集。

在设置 Google Cloud 身份验证和授权后，您可以通过检索此数据集的相关信息来测试对 Google Cloud 的访问权限。

如需详细了解如何创建 BigQuery 数据集，请参阅创建数据集。

创建用于 BigQuery Connector for SAP 的 SAP 角色和授权

要使用 BigQuery Connector for SAP，除了标准 SAP LT Replication Server 授权之外，用户还需要随 BigQuery Connector for SAP 提供的自定义事务 /GOOG/SLT_SETTINGS 和 /GOOG/REPLIC_VALID 的权限。

如需使用负载模拟工具，用户需要随 BigQuery Connector for SAP 提供的自定义事务 /GOOG/LOAD_SIMULATE 的权限。

默认情况下，有权访问自定义事务 /GOOG/SLT_SETTINGS 和 /GOOG/REPLIC_VALID 的用户可以修改任何配置的设置，因此如果需要，您可以将相应权限限制为特定配置。对于只需要查看 BigQuery Connector for SAP 设置的用户，您可以向其授予自定义事务 /GOOG/SLT_SETT_DISP 的只读权限。

BigQuery Connector for SAP 传输文件包含 Google BigQuery Settings Authorization 对象 ZGOOG_MTID，用于特定于 BigQuery Connector for SAP 的授权。

如需授予对自定义事务的访问权限并将访问权限限制为特定配置，请执行以下步骤：

  1. 使用 SAP 事务代码 PFCG 为 BigQuery Connector for SAP 定义角色。

  2. 为该角色授予自定义事务 /GOOG/SLT_SETTINGS、/GOOG/REPLIC_VALID 和 /GOOG/LOAD_SIMULATE 的权限。

  3. 要限制某个角色的权限，请使用 ZGOOG_MTID 授权对象指定该角色可以访问的各配置的授权组。例如：

    • BigQuery Connector for SAP 的授权对象 (ZGOOG_MTID)：
      • Activity 01
      • Authorization Group AUTH_GROUP_1,AUTH_GROUP_N

    AUTH_GROUP_01 和 AUTH_GROUP_N 是在 SAP LT Replication Server 配置中定义的值。

    为 ZGOOG_MTID 指定的授权组必须与为 SAP S_DMIS_SLT 授权对象中的角色指定的授权组相匹配。

创建用于查看 BigQuery Connector for SAP 设置的 SAP 角色和授权

如需授予自定义事务 /GOOG/SLT_SETT_DISP 的只读权限，请执行以下步骤：

  1. 使用 SAP 事务代码 PFCG，定义一个角色以用于查看 BigQuery Connector for SAP 设置。

  2. 向该角色授予自定义事务 /GOOG/SLT_SETT_DISP 的访问权限。

  3. 使用以下属性添加 BigQuery Connector for SAP 的授权对象 (ZGOOG_MTID)：

    • Activity 03
    • Authorization Group = *

  4. 生成角色配置文件并将相关用户分配到该角色。

配置复制

如需配置复制，请同时指定 BigQuery Connector for SAP 和 SAP LT Replication Server 设置。

在 /GOOG/CLIENT_KEY 中指定权限设置

使用 SM30 事务指定 BigQuery 访问权限设置。BigQuery Connector for SAP 会将设置以记录的形式存储在 /GOOG/CLIENT_KEY 自定义配置表中。

如需指定访问权限设置，请执行以下操作：

  1. 在 SAP GUI 中，输入事务代码 SM30。

  2. 选择 /GOOG/CLIENT_KEY 配置表。

  3. 为以下表字段输入值：

    字段 数据类型 说明
    名称 字符串

    为 CLIENT_KEY 配置指定描述性名称，例如 ABAP_SDK_CKEY。

    客户端密钥名称是 BigQuery Connector for SAP 用于标识访问 BigQuery 的配置的唯一标识符。
    服务账号名称 字符串

    在创建服务账号步骤中为 BigQuery Connector for SAP 创建的服务账号的名称（采用邮箱格式）。例如：sap-example-svc-acct@example-project-123456.iam.gserviceaccount.com。

    如果您使用 JSON Web 令牌 (JWT) 进行身份验证，请将此字段留空。

    范围 字符串

    按照 Compute Engine 的建议指定 https://www.googleapis.com/auth/cloud-platform API 访问权限范围。此访问权限范围对应于主机虚拟机上的设置 Allow full access to all Cloud APIs。如需了解详情，请参阅在主机虚拟机上设置访问权限范围。

    如果您使用 JSON Web 令牌 (JWT) 进行身份验证，请将此字段留空。

    项目 ID 字符串 包含您的目标 BigQuery 数据集的项目的 ID。
    命令名称 字符串

    将此字段留空。
    授权类 字符串 用于复制的授权类。
    授权字段 不适用 将此字段留空。
    令牌刷新秒数 整数

    访问令牌在多久后（以秒为单位）会到期并且必须刷新。默认值为 3500。您可以通过在高级设置中设置 CMD_SECS_DEFLT 参数的值来覆盖此默认值。

    如果指定 1 到 3599 的值，则会替换默认的到期时间。如果指定 0，BigQuery Connector for SAP 会使用默认值。
    令牌缓存 布尔值 此标志用于确定是否已缓存从 Google Cloud 检索到的访问令牌。

    我们建议您在配置 BigQuery Connector for SAP 并测试与 Google Cloud的连接后启用令牌缓存。如需详细了解令牌缓存，请参阅启用令牌缓存。

配置 RFC 目标

如需将 BigQuery Connector for SAP 连接到 Google Cloud，我们建议您使用 RFC 目标。

如需为复制配置 RFC 目标，请执行以下操作：

  1. 在 SAP GUI 中，输入事务代码 SM59。

  2. （推荐）复制示例 RFC 目标 GOOG_BIGQUERY 和 GOOG_IAMCREDENTIALS 以创建新的 RFC 目标，然后记下新的 RFC 目标名称。您将在后续步骤中用到它们。

    BigQuery Connector for SAP 使用 RFC 目标分别连接到 BigQuery 和 IAM API。

    如果您想要测试基于 RFC 目标的连接，则可以跳过此步骤并使用示例 RFC 目标。

  3. 对于您创建的 RFC 目标，请完成以下步骤：

    1. 进入 Technical Settings（技术设置）标签页，并确保 Service No.（服务编号）字段已设置为值 443。这是 RFC 目标用于安全通信的端口。

    2. 进入 Logon & Security（登录和安全）并确保 SSL Certificate（SSL 证书）字段设置了选项 DFAULT SSL Client (Standard)（默认 SSL 客户端 [标准]）。

    3. （可选）您可以配置代理设置、启用 HTTP 压缩以及指定 Private Service Connect 端点。

    4. 保存更改。

    5. 要测试连接，请点击 Connection Test（连接测试）。

      包含 404 Not Found 的响应是可接受并且符合预期的，因为 RFC 目标中指定的端点对应于Google Cloud 服务，而不是该服务托管的特定资源。此响应表明目标 Google Cloud服务可访问并且未找到目标资源。

  4. 在 SAP GUI 中，输入事务代码 SM30。

  5. 在上一部分中创建的 /GOOG/CLIENT_KEY 表中，记下名称字段的值。

  6. 在 /GOOG/SERVIC_MAP 表中，使用以下字段值创建条目：

    Google Cloud 密钥名称 Google 服务名称 RFC 目标
    CLIENT_KEY_TABLE_NAME bigquery.googleapis.com 指定以 BigQuery 为目标的 RFC 目标的名称。如果您使用示例 RFC 目标进行测试，请指定 GOOG_BIGQUERY。
    CLIENT_KEY_TABLE_NAME iamcredentials.googleapis.com 指定以 IAM 为目标的 RFC 目标的名称。如果您使用示例 RFC 目标进行测试，请指定 GOOG_IAMCREDENTIALS。

    将 CLIENT_KEY_TABLE_NAME 替换为您在上一步中记下的客户端密钥名称。

配置代理设置

使用 RFC 目标连接到 Google Cloud时，您可以通过您在 SAP 环境中使用的代理服务器来路由 BigQuery Connector for SAP 通信。

如果您不想使用代理服务器，或者您的 SAP 环境中没有代理服务器，则可以跳过此步骤。

如需为 BigQuery Connector for SAP 配置代理服务器设置，请完成以下步骤：

  1. 在 SAP GUI 中，输入事务代码 SM59。

  2. 选择以 IAM 为目标的 RFC 目标。

  3. 进入 Technical Settings（技术设置）标签页，然后为 HTTP Proxy Options（HTTP 代理选项）部分中的字段输入值。

  4. 对以 BigQuery 为目标的 RFC 目标重复上述步骤。

启用 HTTP 压缩

使用 RFC 目标连接到 Google Cloud时，您可以启用 HTTP 压缩。

如果您不想启用此功能，则可以跳过此步骤。

如需启用 HTTP 压缩，请完成以下步骤：

  1. 在 SAP GUI 中，输入事务代码 SM59。

  2. 选择以 BigQuery 为目标的 RFC 目标。

  3. 进入 Special Options（特殊选项）标签页。

  4. 对于 HTTP Version（HTTP 版本）字段，选择 HTTP 1.1。

  5. 对于 Compression（压缩）字段中，选择适当的值。

    如需了解压缩选项，请参阅 SAP 说明 1037677 - HTTP 压缩仅压缩某些文档

指定 Private Service Connect 端点

如果您希望 BigQuery Connector for SAP 使用 Private Service Connect 端点以允许以非公开方式使用 BigQuery 和 IAM，则需要在 Google Cloud 项目中创建这些端点并在相应的 RFC 目标中指定它们。

如果您希望 BigQuery Connector for SAP 继续使用默认的公共 API 端点连接到 BigQuery 和 IAM，请跳过此步骤。

如需将 BigQuery Connector for SAP 配置为使用您的 Private Service Connect 端点，请完成以下步骤：

  1. 在 SAP GUI 中，输入事务代码 SM59。

  2. 验证您是否已为 BigQuery 和 IAM 创建了新的 RFC 目标。如需了解如何创建这些 RFC 目标，请参阅配置 RFC 目标。

  3. 选择以 BigQuery 为目标的 RFC 目标，然后完成以下步骤：

    1. 进入 Technical Settings（技术设置）标签页。

    2. 对于 Target Host（目标主机）字段，输入您为访问 BigQuery 而创建的 Private Service Connect 端点的名称。

    3. 进入 Logon and Security（登录和安全）标签页。

    4. 对于 Service No.（服务编号）字段，确保指定了值 443。

    5. 对于 SSL Certificate（SSL 证书）字段，请确保已选中 DFAULT SSL Client (Standard)（默认 SSL 客户端 [标准]）选项。

  4. 选择以 IAM 为目标的 RFC 目标，然后完成以下步骤：

    1. 进入 Technical Settings（技术设置）标签页。

    2. 对于 Target Host（目标主机）字段，输入您为访问 IAM 而创建的 Private Service Connect 端点的名称。

    3. 进入 Logon and Security（登录和安全）标签页。

    4. 对于 Service No.（服务编号）字段，确保指定了值 443。

    5. 对于 SSL Certificate（SSL 证书）字段，请确保已选中 DFAULT SSL Client (Standard)（默认 SSL 客户端 [标准]）选项。

启用令牌缓存

为了提高复制性能，我们建议您为从 Google Cloud中检索到用于访问 BigQuery 的访问令牌启用缓存。

启用令牌缓存可确保在访问令牌过期或被撤消之前重复使用访问令牌，从而减少用于检索新访问令牌的 HTTP 调用次数。

如需启用令牌缓存，请在客户端密钥表 /GOOG/CLIENT_KEY 中选择令牌缓存标志。

启用令牌缓存后，访问令牌将缓存在 SAP LT Replication Server 应用服务器的共享内存中，缓存时长为 /GOOG/CLIENT_KEY 表中的令牌刷新秒数字段设置的时长。如果未指定令牌刷新秒数或设置为 0，则访问令牌缓存时长为高级设置中的 CMD_SECS_DEFLT 参数中指定的值。

对于未在 Google Cloud上运行的 SAP 工作负载，缓存的访问令牌还会防止在复制大量数据负载时可能会出现的技术问题，其中多个 SAP LT Replication Server 进程可能会在任何给定时间同时请求访问令牌。

对于在 Google Cloud 上运行并使用用户管理的服务账号访问 BigQuery 的 SAP 工作负载，令牌缓存可显著提高访问令牌的检索性能，因为此场景涉及进行两次 HTTP 调用。如需了解令牌检索，请参阅测试 Google Cloud 身份验证和授权。

清除缓存的访问令牌

启用令牌缓存后，如果您更新分配给 BigQuery Connector for SAP 用于访问 BigQuery 的服务账号的角色，则更新后的角色对应的新访问令牌将在现有的缓存令牌到期后才会被检索。在这种情况下，您可以手动清除访问令牌。

如需清除缓存的访问令牌，请输入事务 SE38，然后运行程序 /GOOG/R_CLEAR_TOKEN_CACHE。

创建 SAP LT Replication Server 复制配置

使用 SAP 事务 LTRC 来创建 SAP LT Replication Server 复制配置。

如果 SAP LT Replication Server 运行在不同于源 SAP 系统的服务器上，请在创建复制配置之前，确认两个系统之间具有 RFC 连接。

复制配置中的某些设置会影响性能。要确定适合您的安装的相应设置值，请参阅 SAP 帮助门户中适用于您的 SAP LT Replication Server 版本的性能优化指南。

SAP LT Replication Server 的接口和配置选项可能会略有不同，具体取决于您使用的版本。

如需配置复制，请使用对应于您的 SAP LT Replication Server 版本的过程：

在 DMIS 2011 SP17、DMIS 2018 SP02 或更高版本中配置复制

使用以下步骤在较高版本的 SAP LT Replication Server 中配置复制。如果您使用的是较早的版本，请参阅在 DMIS 2011 SP16、DMIS 2018 SP01 或更早版本中配置复制。

  1. 在 SAP GUI 中，输入事务代码 LTRC。

  2. 点击创建配置图标。此时创建配置向导会打开。

  3. 在配置名称和描述字段中，输入配置的名称和描述，然后点击下一步。

    您可以立即指定授权组，以便将权限限制为特定授权组，也可以稍后执行此操作。

  4. 在源系统连接细节面板中执行以下操作：

    • 选择 RFC 连接单选按钮。
    • 在 RFC 目标字段中，指定与源系统之间的 RFC 连接的名称。
    • 根据需要勾选允许多次使用和从单个客户端读取复选框。如需了解详情，请参阅 SAP LT Replication Server 文档。
    • 点击下一步。

    这些步骤适用于 RFC 连接，但如果来源是数据库，那么若您已使用 DBACOCKPIT 事务定义了连接，则可以选择数据库连接。

  5. 在目标系统连接细节面板中执行以下操作：

    • 选择其他单选按钮。
    • 在场景字段中，从下拉菜单中选择 SLT SDK。
    • 点击下一步。

  6. 在指定传输设置面板中执行以下操作：

    1. 在数据传输设置部分的应用字段中，输入 /GOOG/SLT_BQ 或 ZGOOG_SLT_BQ。

    2. 在作业选项部分的以下字段中输入起始值：

      • 数据传输作业的数量
      • 初始加载作业的数量
      • 计算作业的数量

    3. 在复制选项部分中，选择实时单选按钮。

    4. 点击下一步。

  7. 对配置进行检查后，点击保存。

  8. 记下批量传输列中的三位数 ID。您在后续步骤中要用到它。

如需了解详情，请参阅附加到 SAP 说明 2652704 的 PDF：“使用 SLT SDK 复制数据 - DMIS 2011 SP17、DMIS 2018 SP02.pdf”。

在 DMIS 2011 SP16、DMIS 2018 SP01 或更早版本中配置复制

使用以下步骤在较早版本的 SAP LT Replication Server 中配置复制。如果您使用的是较高版本，请参阅在 DMIS 2011 SP17、DMIS 2018 SP02 或更高版本中配置复制。

  1. 在 SAP GUI 中，输入事务代码 LTRC。
  2. 点击新建。此时将打开一个对话框，用于指定新配置。
  3. 在指定来源系统步骤中，执行以下操作：
    • 选择 RFC 连接作为连接类型。
    • 输入 RFC 连接名称。
    • 确保已选中允许多次使用字段。
  4. 在指定目标系统步骤中，执行以下操作：
    • 输入目标系统的连接数据。
    • 选择 RFC 连接作为连接类型。
    • 在 RFC 通信场景字段中，从下拉列表中选择使用 BAdI 将数据写入目标值。RFC 连接会自动设置为无。
  5. 在指定传输设置步骤中，按 F4 帮助。您之前定义的应用将显示在应用字段中。
  6. 记下批量传输列中的三位数 ID。您在后续步骤中要用到它。

如需了解详情，请参阅附加到 SAP 说明 2652704 的 PDF：“使用 SLT SDK 复制数据 - DMIS 2011 SP15、SP16 以及 DMIS 2018 SP00、SP01.pdf”。

为 BigQuery 创建批量传输配置

使用自定义 /GOOG/SLT_SETTINGS 事务为 BigQuery 配置批量传输并指定表和字段映射。

选择初始批量传输选项

首次输入 /GOOG/SLT_SETTINGS 事务时，选择需要修改 BigQuery 批量传输配置的哪些部分。

如需选择批量传输配置的某些部分，请执行以下操作：

  1. 在 SAP GUI 中，输入以 /n 开头的 /GOOG/SLT_SETTINGS 事务：

    /n/GOOG/SLT_SETTINGS

  2. 在 /GOOG/SLT_SETTINGS 事务的启动屏幕中，从设置表下拉菜单选择批量传输。

    对于新的批量传输配置，请将批量传输键字段留空。

  3. 点击执行图标。此时将显示 BigQuery 设置维护 - 批量传输屏幕。

指定表创建和其他常规特性

在 BigQuery 批量传输配置的初始部分中，您需要确定批量传输配置并指定关联的客户端密钥，此外还需要指定与创建目标 BigQuery 表相关的一些属性。

SAP LT Replication Server 会将批量传输配置保存为 /GOOG/BQ_MASTR 自定义配置表中的记录。

您在以下步骤中指定的字段为必填字段。

  1. 在 BigQuery 设置维护 - 批量传输屏幕中，点击附加行图标。

  2. 在所显示的行中，指定以下设置：

    1. 在批量传输键字段中，定义此次传输的名称。此名称将成为该批量传输的主键。
    2. 在批量传输 ID 字段中，输入创建相应 SAP LT Replication Server 复制配置时生成的三位数 ID。
    3. 若要使用源字段的标签或简短说明作为 BigQuery 中目标字段的名称，请点击使用自定义名称标志复选框。如需详细了解字段名称，请参阅字段的默认命名选项。

    4. 要存储触发插入的更改类型，并启用源表、SAP LT Replication Server 统计信息和 BigQuery 表之间的记录计数验证，请选中额外字段标志复选框。

      设置此标志后，BigQuery Connector for SAP 会向 BigQuery 表架构添加列。如需了解详情，请参阅用于记录更改和计数查询的额外字段。

    5. 为了在遇到包含数据错误的记录时停止发送数据，系统会默认勾选 Break at First Error Flag（在遇到第一个错误标志时中断）复选框。我们建议将此选项保留为选中状态。如需了解详情，请参阅 BREAK 标志。

    6. （可选）如需在数据块的字节大小超过 BigQuery 接受的 HTTP 请求的最大字节大小时自动减小数据块大小，请点击动态数据块大小标志复选框。如需详细了解动态数据块大小，请参阅动态数据块大小。

    7. 如果遇到包含数据错误的记录，并且您希望跳过该记录并继续将记录插入 BigQuery 表中，请点击跳过无效记录标志复选框。我们建议您不要选中此复选框。如需了解详情，请参阅 SKIP 标志。

    8. 在 Google Cloud 键名称字段中，输入相应 /GOOG/CLIENT_KEY 配置的名称。

      BigQuery Connector for SAP 会自动从 /GOOG/CLIENT_KEY 配置中检索 Google Cloud 项目标识符。

    9. 在 BigQuery 数据集字段中，输入您在此过程先前的步骤中创建的目标 BigQuery 数据集的名称。

    10. 在设置已激活标志字段中，点击复选框以启用批量传输配置。

    11. 点击保存。

      批量传输记录会附加到 /GOOG/BQ_MASTR 表中，系统会自动填充更改者、更改时间和更改位置字段。

    12. 点击显示表。

      系统会显示新的批量传输记录，随后显示表特性条目面板。

指定表特性

您可以在 /GOOG/SLT_SETTINGS 事务的第二个部分中指定表特性（例如表名称和表分区），以及发送到 BigQuery 的每次传输或每个数据块中要包含的记录数。

您指定的设置将以记录形式存储在 /GOOG/BQ_TABLE 配置表中。

这些设置是可选的。

如需指定表特性，请执行以下操作：

  1. 点击附加行图标。

  2. 在 SAP 表名称字段中，输入源 SAP 表的名称。

  3. 在外部表名称字段中，输入目标 BigQuery 表的名称。如果目标表尚不存在，则 BigQuery Connector for SAP 会创建使用此名称的表。如需了解 BigQuery 的表命名惯例，请参阅表命名。

  4. 如需针对表中的所有字段发送未压缩数据，请选择发送未压缩标志。启用此设置后，BigQuery Connector for SAP 会使用源表中初始化字段的值复制源记录中的任何空字段。为了提高性能，请勿选择此标志。

    如果您需要仅针对特定字段发送未压缩数据，请勿在表级别选择发送未压缩标志。请改为在字段级别为这些特定字段选择发送未压缩标志。借助此选项，您可以在将数据复制到 BigQuery 时保留特定字段的初始值，即使您压缩表的其余数据也是如此。如需了解如何在字段级别修改记录压缩，请参阅在字段级别更改记录压缩。

    如需详细了解记录压缩行为，请参阅记录压缩。

  5. （可选）在数据块大小字段中，指定要发送到 BigQuery 的每个数据块中可包含的记录数上限。我们建议您对 BigQuery Connector for SAP 使用默认数据块大小，即 10,000 条记录。如有需要，您可以将数据块的大小增加到最多 50,000 条记录，这是 BigQuery Connector for SAP 允许的最大数据块大小。

    如果源记录包含大量字段，则字段数可能会增加数据块的总字节大小，从而导致数据块错误。如果发生这种情况，请尝试减小数据块大小，从而缩小字节大小。如需了解详情，请参阅 BigQuery Connector for SAP 中的数据块大小。或者，如需自动调整数据块大小，请启用动态数据块大小。如需了解详情，请参阅动态数据块大小。

  6. （可选）在分区类型字段中，指定用于分区的时间增量。有效值为 HOUR、DAY、MONTH 或 YEAR。 如需了解详情，请参阅表分区。

  7. （可选）在分区字段字段中，指定包含用于分区的时间戳的目标 BigQuery 表中的一个字段名称。指定字段分区时，还必须指定类型分区。如需了解详情，请参阅表分区。

  8. 在设置已激活标志字段中，点击复选框以启用表特性。如果未勾选设置已激活标志框，BigQuery Connector for SAP 会使用 SAP 源表名称和默认块大小创建 BigQuery 表，且没有分区。

  9. 点击保存。

    您的特性将以记录形式存储在 /GOOG/BQ_TABLE 配置表中，系统会自动填充更改者、更改时间和更改位置字段。

  10. 点击显示字段。

    此时会显示新的表特性记录，后接字段映射条目面板。

自定义默认字段映射

如果源 SAP 表包含时间戳字段或布尔值，请更改默认数据类型映射，以准确反映目标 BigQuery 表中的数据类型。

您还可以更改其他数据类型以及用于目标字段的名称。

您可以直接在 SAP GUI 中修改默认映射，也可以将默认映射导出到电子表格或文本文件，以便其他人无需访问 SAP LT Replication Server 即可修改值。

如需详细了解默认字段映射以及您可以执行的更改，请参阅字段映射。

如需自定义目标 BigQuery 字段的默认映射，请执行以下操作：

  1. 在事务 /GOOG/SLT_SETTINGS 的 BigQuery 设置维护 - 字段页面中，显示您正在配置的批量传输的默认字段映射。

  2. 根据需要修改外部数据元素列中的默认目标数据类型。具体来说，应该更改以下数据类型的目标数据类型：

    • 时间戳。将默认目标数据类型从 NUMERIC 更改为 TIMESTAMP 或 TIMESTAMP (LONG)。
    • 布尔值。将默认目标数据类型从 STRING 更改为 BOOLEAN。
    • 十六进制。将默认目标数据类型从 STRING 更改为 BYTES。

    要修改默认数据类型映射，请执行以下操作：

    1. 在需要修改的字段所在的行上，点击外部数据元素字段。
    2. 在选择数据类型的对话框中，选择所需的 BigQuery 数据类型。
    3. 确认您的更改，然后点击保存。

  3. 如果您在 BigQuery 设置维护 (BigQuery Settings Maintenance) 页面中指定了自定义名称标志，则可以根据需要在临时字段名称 (Temporary Field Name) 列中修改默认目标字段名称。

    您指定的值会替换外部字段名称列中显示的默认名称。

  4. 根据需要修改字段说明列中的默认目标字段说明。

  5. （可选）导出字段映射以进行外部修改。如需了解相关说明，请参阅在 CSV 文件中修改 BigQuery 字段映射。

  6. 完成所有更改并且上传所有外部修改的值后，确认已选中设置已激活标志复选框。如果未选中设置已激活标志，BigQuery Connector for SAP 会使用默认值创建目标表。

  7. 点击保存。

    更改将存储在 /GOOG/BQ_FIELD 配置表中，系统会自动填充更改者、更改时间和更改位置字段。

在字段级别更改记录压缩

为了提高复制性能，BigQuery Connector for SAP 通过省略源记录中的所有空字段来压缩记录，这些字段随后会在 BigQuery 内的目标表中使用 null 进行初始化。不过，如果您需要将一些空字段及其初始值复制到 BigQuery，同时仍使用记录压缩，则可以为这些特定字段选择发送未压缩标志。

如需详细了解记录压缩行为，请参阅记录压缩。

如需在字段级别更改记录压缩，请完成以下步骤：

  1. 在事务 /GOOG/SLT_SETTINGS 的 BigQuery 设置维护 - 字段页面中，显示您正在配置其批量传输的表的字段列表。

  2. 如需针对某个字段发送未压缩数据，请选择与该字段对应的发送未压缩标志。

  3. 点击保存。

测试复制

通过启动数据预配来测试复制配置：

  1. 在 SAP GUI 中打开 SAP LT Replication Server Cockpit（事务 LTRC）。

  2. 点击要测试的表复制对应的批量传输配置。

  3. 点击数据预配。

  4. 在数据预配面板中，开始进行数据预配：

    1. 输入源表的名称。
    2. 点击要测试的数据预配类型对应的单选按钮。例如，开始加载。

    3. 点击执行图标。此时数据传输将会开始，参与对象屏幕上会显示其进度。

      如果 BigQuery 中不存在该表，则 BigQuery Connector for SAP 会根据您先前通过 /GOOG/SLT_SETTINGS 事务定义的表和字段特性构建的架构来创建表。

      表初始加载所需的时间取决于表及其记录的大小。

      消息写入事务 LTRC 中的 SAP LT Replication Server 应用日志部分。

或者，您可以使用负载模拟工具测试到 BigQuery 的复制。如需了解详情，请参阅负载模拟工具。

验证复制

您可以使用以下方法验证复制：

  • 在 SAP LT Replication Server 中执行以下操作：
    • 在数据预配屏幕上监控复制。
    • 在应用日志屏幕中检查错误消息。
  • 在 BigQuery 的表信息标签页上执行以下操作：
    • 检查架构标签页，确保架构正确无误。
    • 查看预览标签页，查看所插入的行的预览。
    • 查看详细信息标签页，了解插入的行数、表的大小以及其他信息。
  • 如果在配置 BigQuery 表时选中额外字段标志复选框，请输入 /GOOG/REPLIC_VALID 自定义事务来运行复制验证工具。

在 SAP LT Replication Server 中检查复制

在启动初始加载或复制作业后，使用事务 LTRC 可以查看其进度，并检查错误消息。

您可以在 SAP LT Replication Server 的加载统计信息标签页下查看加载状态，并在数据传输监控标签页下查看作业进度。

在事务 LTRC 的应用日志屏幕上，您可以看到 BigQuery、BigQuery Connector for SAP 和 SAP LT Replication Server 返回的所有消息。

在 SAP LT Replication Server 中，由 BigQuery Connector for SAP 代码发出的消息以 /GOOG/SLT 前缀开头。从 BigQuery API 返回的消息以 /GOOG/MSG 前缀开头。

SAP LT Replication Server 返回的消息不会以 /GOOG/ 前缀开头。

在 BigQuery 中检查复制

在 Google Cloud 控制台中，确认表已创建，并且 BigQuery 正在向其中插入数据。

  1. 在 Google Cloud 控制台中，前往 BigQuery 页面。

    转到 BigQuery

  2. 在探索器部分的搜索字段中，输入目标 BigQuery 表的名称，然后按 Enter。

    表信息显示在页面右侧内容窗格中的一个标签页下。

  3. 在表信息部分中，点击以下标题以检查表和行插入情况：

    • 预览，显示插入 BigQuery 表的行和字段。
    • 架构，显示字段名称和数据类型。
    • 详细信息，显示表大小、总行数和其他详细信息。

运行复制验证工具

如果在配置 BigQuery 表时选中了额外字段标志，您可以使用复制验证工具生成报告来比较 BigQuery 表中的记录计数与 SAP LT Replication Server 统计信息或源表中的记录计数。

如需运行复制验证工具，请执行以下操作：

  1. 在 SAP GUI 中，输入以 /n 开头的 /GOOG/REPLIC_VALID 事务：

    /n/GOOG/REPLIC_VALID

  2. 在处理选项部分中，点击执行验证单选按钮。

  3. 在选择选项部分中，输入以下规范：

    • 从 GCP 合作伙伴标识符字段中的下拉菜单中，选择 BigQuery。
    • 从检查类型字段中的下拉菜单中，选择要生成报告的类型：
      • 初始加载计数
      • 复制计数
      • 当前计数
    • 如果显示了检查日期字段，请指定您需要计数的日期。
    • 在批量传输键字段中，输入批量传输配置名称。
    • （可选）在表名称字段中，指定您需要为其生成报告的批量传输配置中的表名称。

  4. 点击执行图标以运行复制验证工具。

  5. 验证检查完成后，在处理选项部分中点击显示报告单选按钮以显示报告，然后点击执行图标。

如需了解详情，请参阅复制验证工具。