将 Salesforce 数据加载到 BigQuery 中

Salesforce Classic

检索 myDomain 详情

如需查找 myDomain，请执行以下操作：

1. 登录 Salesforce 平台。
2. 点击设置。
3. 在搜索栏中，搜索“我的网域”。
4. 在搜索结果中，依次点击网域管理 > 我的网域。

在 My Domain Details（我的网域详情）部分中，您的 myDomain 会在 Current My Domain URL（当前我的网域网址）中显示为前缀。例如，如果“我的网域”网址为 example.my.salesforce.com，则要使用的 myDomain 值为 example。

检索 ClientId 和 ClientSecret 详情

如需查找 ClientId 和 ClientSecret 值，请执行以下操作：

1. 登录 Salesforce 平台。
2. 点击设置。
3. 在搜索栏中，搜索“应用”。
4. 在搜索结果的构建部分，依次点击创建 > 应用。
5. 点击 Connected App Name（关联的应用名称）。
6. 在关联的应用详情页面中，点击 Manage Consumer Details（管理使用方详情）。
7. 使用已注册的方法之一验证您的身份。您最多可以有 5 分钟的时间查看使用方详情页面，然后系统会提示您再次验证身份。
8. 在使用方详细信息页面中，使用方密钥是您的 ClientId 值。Customer Secret（客户端密钥）是您的 ClientSecret 值。

Salesforce Lightning Experience

检索 myDomain 详情

如需查找 myDomain，请执行以下操作：

1. 登录 Salesforce 平台。
2. 点击设置。

1. 在搜索栏中，搜索“我的网域”。
2. 在搜索结果中，依次点击公司设置 > 我的网域。

在 My Domain Details（我的网域详情）部分中，您的 myDomain 会在 Current My Domain URL（当前我的网域网址）中显示为前缀。例如，如果“我的网域”网址为 example.my.salesforce.com，则要使用的 myDomain 值为 example。

检索 ClientId 和 ClientSecret 详情

1. 登录 Salesforce 平台。
2. 点击设置。
3. 在搜索栏中，搜索“应用”。
4. 在搜索结果中，依次点击应用 > App Manager（应用管理器）。
5. 找到关联的应用，然后点击查看。
6. 点击管理使用方详细信息。
7. 使用已注册的方法之一验证您的身份。您最多可以有 5 分钟的时间查看使用方详情页面，然后系统会提示您再次验证身份。
8. 在使用方详细信息页面中，使用方密钥是您的 ClientId 值。Customer Secret（客户端密钥）是您的 ClientSecret 值。

控制台

1. 前往 Google Cloud 控制台中的“数据转移”页面。

   转到“数据传输”

2. 点击 add 创建转移作业。

3. 在来源类型部分的来源中，选择 Salesforce。

4. 在数据源详细信息部分中，执行以下操作：

   • 在我的网域部分，输入 Salesforce 我的网域。
   • 在客户端 ID 部分，输入 Salesforce 关联的应用使用方密钥。
   • 在客户端密钥部分，输入 Salesforce 关联的应用使用方密钥。

   • 在 Salesforce objects to transfer（要转移的 Salesforce 对象）部分，点击浏览以选择要转移到 BigQuery 目标数据集的任何对象。此外，您还可以在此字段中手动输入要包含在数据转移作业中的任何对象。

     

5. 在目标设置部分的数据集中，选择您创建用来存储数据的数据集。

6. 在转移配置名称部分的显示名称中，输入数据转移作业的名称。

7. 在时间表选项部分中，执行以下操作：

   • 在重复频率列表中，选择一个选项来指定此数据转移作业的运行频率。如需指定自定义重复频率，请选择自定义。如果您选择按需，则当您手动触发转移作业时，此转移作业会运行。
   • 如果适用，请选择立即开始或从设置的时间开始，并提供开始日期和运行时间。

8. 可选：在通知选项部分中，执行以下操作：

   • 如需启用电子邮件通知，请点击电子邮件通知切换开关。启用此选项后，转移作业管理员会在转移作业运行失败时收到电子邮件通知。
   • 如需为此转移作业启用 Pub/Sub 转移作业运行通知，请点击 Pub/Sub 通知切换开关。您可以选择主题名称，也可以点击创建主题来创建一个主题。

9. 点击保存。

bq

输入 bq mk 命令并提供转移作业创建标志 --transfer_config：

bq mk
    --transfer_config
    --project_id=PROJECT_ID
    --data_source=DATA_SOURCE
    --display_name=NAME
    --target_dataset=DATASET
    --params='PARAMETERS'

其中：

• PROJECT_ID（可选）：您的 Google Cloud 项目 ID。如果未提供 --project_id 来指定具体项目，则系统会使用默认项目。
• DATA_SOURCE：数据源，salesforce。
• NAME：数据转移作业配置的显示名称。转移作业名称可以是任何可让您在需要修改转移作业时识别该转移作业的名称。
• DATASET：转移作业配置的目标数据集。

• PARAMETERS：所创建转移作业配置的参数（采用 JSON 格式）。例如 --params='{"param":"param_value"}'。以下是 Salesforce 数据转移作业的参数：

  • connector.authentication.oauth.clientId：Salesforce 关联的应用的使用方密钥。
  • connector.authentication.oauth.clientSecret：Salesforce 关联的应用的 OAuth 客户端密钥或使用方密钥。
  • connector.authentication.oauth.myDomain：Salesforce 我的网域。例如，如果您的网域网址为 example.my.salesforce.com，则该值为 example。
  • assets：要转移到 BigQuery 的 Salesforce 对象的路径。

例如，以下命令会使用所有必需参数在默认项目中创建 Salesforce 数据转移作业：

bq mk
    --transfer_config
    --target_dataset=mydataset
    --data_source=salesforce
    --display_name='My Transfer'
    --params='{"assets":["Account"],
        "connector.authentication.oauth.clientId": "1234567890",
        "connector.authentication.oauth.clientSecret":"ABC12345",
        "connector.authentication.oauth.myDomain":"MyDomainName",}'

API

使用 projects.locations.transferConfigs.create 方法并提供一个 TransferConfig 资源实例。