从 HDFS 传输到 Cloud Storage

Google Cloud 控制台

1. 在 Google Cloud 控制台中，转到代理池页面。

   转到“代理池”

2. 选择要向其添加新代理的代理池。

3. 点击安装代理。

4. 按照相关说明安装并运行代理。

   如需详细了解代理的命令行选项，请参阅代理命令行选项。

gcloud CLI

如需使用 gcloud CLI 安装一个或多个代理，请运行 gcloud transfer agents install：

gcloud transfer agents install --pool=POOL_NAME \
  --count=NUM_AGENTS \
  --mount-directories=MOUNT_DIRECTORIES \
  --hdfs-namenode-uri=HDFS_NAMENODE_URI \
  --hdfs-username=HDFS_USERNAME \
  --hdfs-data-transfer-protection=HDFS_DATA_TRANSFER_PROTECTION \
  --kerberos-config-file=KERBEROS_CONFIG_FILE \
  --kerberos-keytab-file=KERBEROS_KEYTAB_FILE \
  --kerberos-user-principal=KERBEROS_USER_PRINCIPAL \
  --kerberos-service-principal=KERBEROS_SERVICE_PRINCIPAL \

其中：

• --hdfs-namenode-uri 指定一个 HDFS 集群，包括架构、名称节点和端口（采用 URI 格式）。例如：

  • rpc://my-namenode:8020
  • http://my-namenode:9870

  为 WebHDFS 使用 HTTP 或 HTTPS。如果未提供架构，我们会假定 RPC。如果未提供端口，则默认值为：对于 RPC 为 8020，对于 HTTP 为 9870，对于 HTTPS 为 9871。例如，输入 my-namenode 会变为 rpc://my-namenode:8020。

  如果您的集群配置了多个名称节点，请指定当前的主节点。如需了解详情，请参阅具有多个名称节点的集群。

• --hdfs-username 是用于使用简单身份验证连接到 HDFS 集群的用户名。如果您使用 Kerberos 进行身份验证，或者在不进行任何身份验证的情况下进行连接，请省略此标志。

• --hdfs-data-transfer-protection（可选）是 Kerberized 集群的客户端保护质量 (QOP) 设置。此值不得比服务器端 QOP 值更严格。有效值包括：authentication、integrity 和 privacy。

如果您使用 Kerberos 进行身份验证，还应添加以下标志：

• --kerberos-config-file 是 Kerberos 配置文件的路径。例如 --kerberos-config-file=/etc/krb5.conf。

• --kerberos-user-principal 是要使用的 Kerberos 用户正文。例如 --kerberos-user-principal=user1。

• --kerberos-keytab-file 是包含使用 --kerberos-user-principal 标志指定的用户正文的 Keytab 文件的路径。例如 --kerberos-keytab-file=/home/me/kerberos/user1.keytab。

• --kerberos-service-principal 是要使用的 Kerberos 服务正文，采用 <primary>/<instance> 的形式。此字段会从您的 Kerberos 配置文件中映射出 Realm；系统会忽略任何提供的 Realm。如果未指定此标志，则默认为 hdfs/<namenode_fqdn>，其中 <namenode_fqdn> 是配置文件中指定的完全限定域名。

  例如 --kerberos-service-principal=hdfs/my-namenode.a.example.com。

该工具将引导您完成安装代理所需的所有步骤。此命令会在您的机器上安装 NUM_AGENTS 个代理，将这些代理映射到指定为 POOL_NAME 的池名称，并使用您的 gcloud 凭据对这些代理进行身份验证。池名称必须存在，否则会返回错误。

--mount-directories 标志是可选的，但强烈建议使用。它的值是文件系统上的目录的逗号分隔列表，您将向代理授予这些目录的访问权限。如果省略此标志，系统会将整个文件系统装载到代理容器。如需了解详情，请参阅 gcloud 参考文档。

docker run

在使用 docker run 安装代理之前，请先按照相关说明安装 Docker。

docker run 命令会安装一个代理。如需增加池中的代理数量，请根据需要重复运行此命令数次。

所需的命令标志取决于您使用的身份验证类型。

sudo docker run -d --ulimit memlock=64000000 --rm \
  --network=host \
  -v /:/transfer_root \
  gcr.io/cloud-ingest/tsop-agent:latest \
  --enable-mount-directory \
  --project-id=${PROJECT_ID} \
  --hostname=$(hostname) \
  --creds-file="service_account.json" \
  --agent-pool=${AGENT_POOL_NAME} \
  --hdfs-namenode-uri=cluster-namenode \
  --kerberos-config-file=/etc/krb5.conf \
  --kerberos-user-principal=user \
  --kerberos-keytab-file=/path/to/folder.keytab

sudo docker run -d --ulimit memlock=64000000 --rm \
  --network=host \
  -v /:/transfer_root \
  gcr.io/cloud-ingest/tsop-agent:latest \
  --enable-mount-directory \
  --project-id=${PROJECT_ID} \
  --hostname=$(hostname) \
  --creds-file="${CREDS_FILE}" \
  --agent-pool="${AGENT_POOL_NAME}" \
  --hdfs-namenode-uri=cluster-namenode \
  --hdfs-username="${USERNAME}"

sudo docker run -d --ulimit memlock=64000000 --rm \
  --network=host \
  -v /:/transfer_root \
  gcr.io/cloud-ingest/tsop-agent:latest \
  --enable-mount-directory \
  --project-id=${PROJECT_ID} \
  --hostname=$(hostname) \
  --creds-file="${CREDS_FILE}" \
  --agent-pool="${AGENT_POOL_NAME}" \
  --hdfs-namenode-uri=cluster-namenode \

Google Cloud 控制台

1. 转到 Google Cloud 控制台中的 Storage Transfer Service 页面。

   转到 Storage Transfer Service

2. 点击创建转移作业。 系统随即会显示创建转移作业页面。

3. 选择 Hadoop 分布式文件系统作为来源类型。目标位置必须是 Google Cloud Storage。

   点击下一步。

配置来源

1. 指定此转移作业所需的信息：

   1. 选择您为此转移作业配置的代理池。

   2. 输入要从中传输的路径（相对于根目录）。

2. （可选）指定要应用于来源数据的任何过滤条件。

3. 点击下一步。

配置接收器

1. 在存储桶或文件夹字段中，输入目标存储桶以及（可选）文件夹名称，或点击浏览从当前项目的现有存储桶列表中选择一个存储桶。如需创建新存储桶，请点击 创建新存储桶。

2. 点击下一步。

安排转移作业

您可以安排转移作业仅运行一次，也可以配置周期性转移作业。

点击下一步。

选择转移作业设置

1. 在说明字段中，输入转移作业的说明。最佳做法是输入有意义且唯一的说明，以便区分作业。

2. 在元数据选项下，选择您的 Cloud Storage 存储类别，以及是否要保存每个对象的创建时间。如需了解详情，请参阅元数据保留。

3. 在何时覆盖下，选择以下选项之一：

   • 永不：请勿覆盖目标文件。如果存在同名文件，则不会进行传输。

   • 如果不同：如果同名的源文件具有不同的 ETag 或校验和值，则覆盖目标文件。

   • 始终：当源文件同名时，即使源文件相同，也始终覆盖目标文件。

4. 在何时删除下，选择以下选项之一：

   • 永不：永不从源或目标中删除文件。

   • 如果文件不在数据源中则从目标位置删除文件：如果目标 Cloud Storage 存储桶中的文件也不在数据源中，则从 Cloud Storage 存储桶中删除文件。

     此选项可确保目标 Cloud Storage 存储桶与您的数据源完全匹配。

5. 选择是否启用转移日志记录和/或 Pub/Sub 通知。

点击创建以创建转移作业。

gcloud CLI

如需创建新的转移作业，请使用 gcloud transfer jobs create 命令。除非指定了时间表或 --do-not-run，否则创建新作业时会启动指定的转移作业。

gcloud transfer jobs create \
  hdfs:///PATH/ gs://BUCKET_NAME/PATH/
  --source-agent-pool=AGENT_POOL_NAME

其中：

• PATH 是从 HDFS 集群根目录算起的绝对路径。集群名称节点和端口是在代理级别配置的，因此作业创建命令只需指定路径（可选）和代理池。

• --source-agent-pool 指定要用于此转移作业的来源代理池。

其他选项包括：

• --do-not-run 可阻止 Storage Transfer Service 在提交命令后运行作业。如需运行作业，请更新作业以添加时间表，或使用 jobs run 来手动启动作业。

• --manifest-file 指定 Cloud Storage 中 CSV 文件的路径，该文件包含要从来源转移的文件的列表。如需了解清单文件的格式，请参阅使用清单转移特定文件或对象。

• 作业信息：您可以指定 --name 和 --description。

• 时间表：您可以指定 --schedule-starts、--schedule-repeats-every 和 --schedule-repeats-until 或 --do-not-run。

• 对象条件：您可以使用条件确定要转移的对象。这些条件包括 --include-prefixes 和 --exclude-prefixes 以及 --include-modified-[before | after]-[absolute | relative] 中基于时间的条件。 如果您为源代码指定了文件夹，则前缀过滤器相对于该文件夹。如需了解详情，请参阅按前缀过滤源对象。

• 转移选项：指定是否覆盖目标文件（--overwrite-when=different 或 always），以及是否要在转移过程中或之后删除某些文件（--delete-from=destination-if-unique 或 source-after-transfer）；（可选）为转移的对象设置存储类别 (--custom-storage-class)。

• 通知：使用 --notification-pubsub-topic、--notification-event-types 和 --notification-payload-format 为转移作业配置 Pub/Sub 通知。

如需查看所有选项，请运行 gcloud transfer jobs create --help 或参阅 gcloud 参考文档。

REST API

如需使用 REST API 创建从 HDFS 来源的转移作业，请创建一个类似于以下示例的 JSON 对象。

POST https://storagetransfer.googleapis.com/v1/transferJobs
{
  ...
  "transferSpec": {
    "source_agent_pool_name":"POOL_NAME",
    "hdfsDataSource": {
      "path": "/mount"
    },
    "gcsDataSink": {
      "bucketName": "SINK_NAME"
    },
    "transferOptions": {
      "deleteObjectsFromSourceAfterTransfer": false
    }
  }
}

如需详细了解其他受支持的字段，请参阅 transferJobs.create 参考文档。