Bigtable 到 Cloud Storage SequenceFile 範本

Bigtable 到 Cloud Storage SequenceFile 範本是一種管道，可從 Bigtable 資料表中讀取資料，並將資料以 SequenceFile 格式寫入 Cloud Storage 值區。您可以使用這個範本將資料從 Bigtable 複製到 Cloud Storage。

管道相關規定

  • Bigtable 資料表必須存在。
  • 執行管道前，輸出 Cloud Storage 值區必須已存在。

範本參數

必要參數

  • bigtableProject：包含您要讀取資料的 Bigtable 執行個體的 Google Cloud 專案 ID。
  • bigtableInstanceId：包含資料表的 Bigtable 執行個體 ID。
  • bigtableTableId：要匯出的 Bigtable 資料表 ID。
  • destinationPath：資料寫入的 Cloud Storage 路徑。例如：gs://your-bucket/your-path/。
  • filenamePrefix：SequenceFile 檔案名稱的前置字串。例如：output-。

選用參數

  • bigtableAppProfileId：用於匯出的 Bigtable 應用程式設定檔 ID。如果您未指定應用程式設定檔，Bigtable 會使用執行個體的預設應用程式設定檔：https://cloud.google.com/bigtable/docs/app-profiles#default-app-profile。
  • bigtableStartRow：匯出作業的起始資料列，預設為第一列。
  • bigtableStopRow：停止匯出的資料列，預設為最後一個資料列。
  • bigtableMaxVersions：儲存格版本數量上限。預設值為 2147483647。
  • bigtableFilter：篩選器字串。請參閱：http://hbase.apache.org/book.html#thrift。預設為空白。

執行範本

控制台

  1. 前往 Dataflow 的「Create job from template」(透過範本建立工作) 頁面。
    2. 前往「依據範本建立工作」
  2. 在「工作名稱」欄位中，輸入專屬工作名稱。
  3. 選用：如要使用區域端點，請從下拉式選單中選取值。預設區域為 us-central1。

    如需可執行 Dataflow 工作的地區清單，請參閱「Dataflow 位置」。

  4. 從「Dataflow template」(Dataflow 範本) 下拉式選單中選取 the Cloud Bigtable to SequenceFile Files on Cloud Storage template 。
  5. 在提供的參數欄位中輸入參數值。
  6. 按一下「Run Job」(執行工作)。

gcloud

在殼層或終端機中執行範本：

gcloud dataflow jobs run JOB_NAME \
    --gcs-location gs://dataflow-templates-REGION_NAME/VERSION/Cloud_Bigtable_to_GCS_SequenceFile \
    --region REGION_NAME \
    --parameters \
bigtableProject=BIGTABLE_PROJECT_ID,\
bigtableInstanceId=INSTANCE_ID,\
bigtableTableId=TABLE_ID,\
bigtableAppProfileId=APPLICATION_PROFILE_ID,\
destinationPath=DESTINATION_PATH,\
filenamePrefix=FILENAME_PREFIX

更改下列內容：

  • JOB_NAME： 您選擇的不重複工作名稱
  • VERSION： 您要使用的範本版本

    您可以使用下列值：

  • REGION_NAME： 您要部署 Dataflow 工作的地區，例如 us-central1
  • BIGTABLE_PROJECT_ID：您要讀取資料的 Bigtable 執行個體 Google Cloud 專案 ID
  • INSTANCE_ID：包含資料表的 Bigtable 執行個體 ID
  • TABLE_ID：要匯出的 Bigtable 資料表 ID
  • APPLICATION_PROFILE_ID：要用於匯出的 Bigtable 應用程式設定檔 ID
  • ：資料寫入位置的 Cloud Storage 路徑，例如 gs://mybucket/somefolderDESTINATION_PATH
  • FILENAME_PREFIX：SequenceFile 檔案名稱的前置字串，例如 output-

API

如要使用 REST API 執行範本，請傳送 HTTP POST 要求。如要進一步瞭解 API 和授權範圍，請參閱 projects.templates.launch。

POST https://dataflow.googleapis.com/v1b3/projects/PROJECT_ID/locations/LOCATION/templates:launch?gcsPath=gs://dataflow-templates-LOCATION/VERSION/Cloud_Bigtable_to_GCS_SequenceFile
{
   "jobName": "JOB_NAME",
   "parameters": {
       "bigtableProject": "BIGTABLE_PROJECT_ID",
       "bigtableInstanceId": "INSTANCE_ID",
       "bigtableTableId": "TABLE_ID",
       "bigtableAppProfileId": "APPLICATION_PROFILE_ID",
       "destinationPath": "DESTINATION_PATH",
       "filenamePrefix": "FILENAME_PREFIX",
   },
   "environment": { "zone": "us-central1-f" }
}

更改下列內容：

  • PROJECT_ID： 您要執行 Dataflow 工作的專案 ID Google Cloud
  • JOB_NAME： 您選擇的不重複工作名稱
  • VERSION： 您要使用的範本版本

    您可以使用下列值：

  • LOCATION： 您要部署 Dataflow 工作的地區，例如 us-central1
  • BIGTABLE_PROJECT_ID：您要讀取資料的 Bigtable 執行個體 Google Cloud 專案 ID
  • INSTANCE_ID：包含資料表的 Bigtable 執行個體 ID
  • TABLE_ID：要匯出的 Bigtable 資料表 ID
  • APPLICATION_PROFILE_ID：要用於匯出的 Bigtable 應用程式設定檔 ID
  • ：資料寫入位置的 Cloud Storage 路徑，例如 gs://mybucket/somefolderDESTINATION_PATH
  • FILENAME_PREFIX：SequenceFile 檔案名稱的前置字串，例如 output-

後續步驟