Template SequenceFile Cloud Storage ke Bigtable

Template Cloud Storage SequenceFile ke Bigtable adalah pipeline yang membaca data dari file SequenceFile di bucket Cloud Storage dan menulis data ke tabel Bigtable. Anda dapat menggunakan template untuk menyalin data dari Cloud Storage ke Bigtable.

Persyaratan pipeline

  • Tabel Bigtable harus ada.
  • SequenceFile input harus ada di bucket Cloud Storage sebelum menjalankan pipeline.
  • SequenceFile input harus telah diekspor dari Bigtable atau HBase.

Parameter template

Parameter yang diperlukan

  • bigtableProject: ID project Google Cloud yang berisi instance Bigtable yang ingin Anda tulis datanya.
  • bigtableInstanceId: ID instance Bigtable yang berisi tabel.
  • bigtableTableId: ID tabel Bigtable yang akan diimpor.
  • sourcePattern: Pola jalur Cloud Storage ke lokasi data. Contoh, gs://your-bucket/your-path/prefix*.

Parameter opsional

  • bigtableAppProfileId: ID profil aplikasi Bigtable yang akan digunakan untuk impor. Jika Anda tidak menentukan profil aplikasi, Bigtable akan menggunakan profil aplikasi default instance (https://cloud.google.com/bigtable/docs/app-profiles#default-app-profile).
  • mutationThrottleLatencyMs: Opsional. Tetapkan throttling latensi mutasi (mengaktifkan fitur). Nilai dalam milidetik. Nilai default: 0.

Menjalankan template

Konsol

  1. Buka halaman Dataflow Create job from template.
    2. Buka Membuat tugas dari template
  2. Di kolom Nama tugas, masukkan nama tugas yang unik.
  3. Opsional: Untuk Endpoint regional, pilih nilai dari menu drop-down. Region default-nya adalah us-central1.

    Untuk mengetahui daftar region tempat Anda dapat menjalankan tugas Dataflow, lihat Lokasi Dataflow.

  4. Dari menu drop-down Template Dataflow, pilih the SequenceFile Files on Cloud Storage to Cloud Bigtable template.
  5. Di kolom parameter yang disediakan, masukkan nilai parameter Anda.
  6. Klik Run job.

gcloud

Di shell atau terminal Anda, jalankan template:

gcloud dataflow jobs run JOB_NAME \
    --gcs-location gs://dataflow-templates-REGION_NAME/VERSION/GCS_SequenceFile_to_Cloud_Bigtable \
    --region REGION_NAME \
    --parameters \
bigtableProject=BIGTABLE_PROJECT_ID,\
bigtableInstanceId=INSTANCE_ID,\
bigtableTableId=TABLE_ID,\
bigtableAppProfileId=APPLICATION_PROFILE_ID,\
sourcePattern=SOURCE_PATTERN

Ganti kode berikut:

  • JOB_NAME: nama tugas unik pilihan Anda
  • VERSION: versi template yang ingin Anda gunakan

    Anda dapat menggunakan nilai berikut:

  • REGION_NAME: region tempat Anda ingin men-deploy tugas Dataflow—misalnya, us-central1
  • BIGTABLE_PROJECT_ID: ID project Google Cloud instance Bigtable yang ingin Anda baca datanya
  • INSTANCE_ID: ID instance Bigtable yang berisi tabel
  • TABLE_ID: ID tabel Bigtable yang akan diekspor
  • APPLICATION_PROFILE_ID: ID profil aplikasi Bigtable yang akan digunakan untuk ekspor
  • SOURCE_PATTERN: pola jalur Cloud Storage tempat data berada, misalnya, gs://mybucket/somefolder/prefix*

API

Untuk menjalankan template menggunakan REST API, kirim permintaan HTTP POST. Untuk mengetahui informasi selengkapnya tentang API dan cakupan otorisasinya, lihat projects.templates.launch.

POST https://dataflow.googleapis.com/v1b3/projects/PROJECT_ID/locations/LOCATION/templates:launch?gcsPath=gs://dataflow-templates-LOCATION/VERSION/GCS_SequenceFile_to_Cloud_Bigtable
{
   "jobName": "JOB_NAME",
   "parameters": {
       "bigtableProject": "BIGTABLE_PROJECT_ID",
       "bigtableInstanceId": "INSTANCE_ID",
       "bigtableTableId": "TABLE_ID",
       "bigtableAppProfileId": "APPLICATION_PROFILE_ID",
       "sourcePattern": "SOURCE_PATTERN",
   },
   "environment": { "zone": "us-central1-f" }
}

Ganti kode berikut:

  • PROJECT_ID: ID Google Cloud project tempat Anda ingin menjalankan tugas Dataflow
  • JOB_NAME: nama tugas unik pilihan Anda
  • VERSION: versi template yang ingin Anda gunakan

    Anda dapat menggunakan nilai berikut:

  • LOCATION: region tempat Anda ingin men-deploy tugas Dataflow—misalnya, us-central1
  • BIGTABLE_PROJECT_ID: ID project Google Cloud instance Bigtable yang ingin Anda baca datanya
  • INSTANCE_ID: ID instance Bigtable yang berisi tabel
  • TABLE_ID: ID tabel Bigtable yang akan diekspor
  • APPLICATION_PROFILE_ID: ID profil aplikasi Bigtable yang akan digunakan untuk ekspor
  • SOURCE_PATTERN: pola jalur Cloud Storage tempat data berada, misalnya, gs://mybucket/somefolder/prefix*

Langkah berikutnya