从公共网址转移到 Cloud Storage

可公开访问的网址

将网址列表存储在可公开访问的网址时，需要满足以下要求：

• 网址必须以 http:// 或 https:// 开头。
• 当服务器返回网址列表时，必须在 HTTP 响应中设置一个强 Etag 标头。

例如，您可以将列表存储在 Cloud Storage 存储分区中，然后公开共享对象以获取指向该对象的链接。

Cloud Storage 存储分区

为避免将列表存储在公共位置，您可以将其存储在 Cloud Storage 存储分区中，并向 Storage Transfer Service 的服务代理授予访问权限。

必须向服务代理授予以下权限：

• 对象的 storage.object.get 权限。您可以通过向存储分区授予 roles/storage.legacyObjectReader 角色或使用自定义角色来授予此权限。
• 对存储分区的 storage.buckets.get 权限。您可以通过授予 roles/storage.legacyBucketReader 角色或使用自定义角色来授予此权限。

如需向服务代理授予权限，请执行以下操作：

找到服务代理的电子邮件地址

1. 前往 googleServiceAccounts.get 参考页面。

   系统会打开标题为试用此方法的交互式面板。

2. 在该面板的请求参数下，输入您的项目 ID。您在此处指定的项目必须是您用于管理 Storage Transfer Service 的项目，该项目可能与网址列表存储分区的项目不同。

3. 点击执行。

服务代理的电子邮件地址会作为 accountEmail 的值返回，并采用 project-PROJECT_NUMBER@storage-transfer-service.iam.gserviceaccount.com 格式。

复制该值。

授予所需角色

如需向包含网址列表的存储分区中的服务代理授予 roles/storage.objectViewer 角色和 roles/storage.bucketViewer 角色，请按照设置和管理存储分区的 IAM 政策中的说明操作。

您要添加的主账号是服务代理的电子邮件地址。如有需要，主账号标识符为 serviceAccount。例如 serviceAccount:project-PROJECT_NUMBER@storage-transfer-service.iam.gserviceaccount.com。

Google Cloud 控制台

按照创建转移作业中的说明操作。

选择来源时：

1. 在来源类型下，选择网址列表，然后点击下一步。

2. 在 TSV 文件网址下，提供制表符分隔值 (TSV) 文件的网址。网址可以是 HTTP/HTTPS 地址（例如 https://example.com/urllist.tsv），也可以是 Cloud Storage 路径（例如 gs://my-bucket/urllist.tsv）。

gcloud CLI

如需创建新的转移作业，请使用 gcloud transfer jobs create 命令。

gcloud transfer jobs create \
  SOURCE DESTINATION

对于网址列表传输，SOURCE 的值为 TSV 文件的网址。网址可以是 HTTP/HTTPS 地址（例如 https://example.com/urllist.tsv），也可以是 Cloud Storage 路径（例如 gs://my-bucket/urllist.tsv）。

如需详细了解如何使用 gcloud CLI 创建传输，请参阅创建传输作业。

REST

如需使用 REST API 创建网址列表转移作业，请在 listUrl 字段中指定 TSV 文件的网址：

{
  "projectId": "PROJECT_ID",
  "transferSpec": {
    "httpDataSource": {
      "listUrl": "URL"
    },
    "gcsDataSink": {
      "bucketName": "DESTINATION_BUCKET"
    }
  },
  "status": "ENABLED"
}

URL 的值是 HTTP/HTTPS 地址（例如 https://example.com/urllist.tsv）或 Cloud Storage 路径（例如 gs://my-bucket/urllist.tsv）。

如需详细了解如何使用 REST API 创建转移，请参阅 REST API 参考文档。