创建 Dataplex 数据湖

使用集合让一切井井有条 根据您的偏好保存内容并对其进行分类。

本文档介绍了如何创建 Dataplex 数据湖。您可以在支持 Dataplex 的任何区域中创建数据湖。

准备工作

1. Sign in to your Google Cloud account. If you're new to Google Cloud, create an account to evaluate how our products perform in real-world scenarios. New customers also get $300 in free credits to run, test, and deploy workloads.

2. In the Google Cloud console, on the project selector page, select or create a Google Cloud project.

   Go to project selector

3. Make sure that billing is enabled for your Google Cloud project.

4. Enable the Dataplex, Dataproc, Dataproc Metastore, BigQuery, and Cloud Storage APIs.

   Enable the APIs

5. In the Google Cloud console, on the project selector page, select or create a Google Cloud project.

   Go to project selector

6. Make sure that billing is enabled for your Google Cloud project.

7. Enable the Dataplex, Dataproc, Dataproc Metastore, BigQuery, and Cloud Storage APIs.

   Enable the APIs

访问权限控制

1. 如需创建和管理数据湖，请确保您已获授预定义角色 roles/dataplex.admin 或 roles/dataplex.editor。如需了解详情，请参阅授予单个角色。

2. 如需将其他项目中的 Cloud Storage 存储分区附加到您的数据湖，请运行以下命令，为以下 Dataplex 服务账号授予对该存储分区的管理员角色：

   gcloud alpha dataplex lakes authorize \
   --project PROJECT_ID_OF_LAKE \
   --storage-bucket-resource BUCKET_NAME
   

创建 Metastore

您可以通过将 Dataproc Metastore 服务实例与 Dataplex 数据湖相关联，在 Spark 查询中使用 Hive Metastore 访问 Dataplex 元数据。您需要有一个启用了 gRPC 的 Dataproc Metastore（版本 3.1.2 或更高版本），并将其与 Dataplex 数据湖相关联。

1. 创建 Dataproc Metastore 服务。

2. 将 Dataproc Metastore 服务实例配置为公开 gRPC 端点（而不是默认的 Thrift Metastore 端点）：

   curl -X PATCH \
   -H "Authorization: Bearer $(gcloud auth print-access-token)" \
   -H "Content-Type: application/json" \
   "https://metastore.googleapis.com/v1beta/projects/PROJECT_ID/locations/LOCATION/services/SERVICE_ID?updateMask=hiveMetastoreConfig.endpointProtocol" \
   -d '{"hiveMetastoreConfig": {"endpointProtocol": "GRPC"}}'
   

3. 查看 gRPC 端点：

   gcloud metastore services describe SERVICE_ID \
     --project PROJECT_ID \
     --location LOCATION \
     --format "value(endpointUri)"
   

创建数据湖

gcloud alpha dataplex lakes create LAKE \
 --location=LOCATION \
 --labels=k1=v1,k2=v2,k3=v3 \
 --metastore-service=METASTORE_SERVICE

后续步骤

• 了解如何向数据湖添加区域。
• 了解如何将资产附加到区域。
• 了解如何保护数据湖。
• 了解如何管理数据湖。