Redshift

Konektor Redshift memungkinkan Anda melakukan operasi penyisipan, penghapusan, pembaruan, dan pembacaan pada database Redshift.

Sebelum memulai

Sebelum menggunakan konektor Redshift, lakukan tugas berikut:

  • Di project Google Cloud Anda:
    • Pastikan konektivitas jaringan telah disiapkan. Untuk mengetahui informasi tentang pola jaringan, lihat Konektivitas jaringan.
    • Berikan peran IAM roles/connectors.admin kepada pengguna yang mengonfigurasi konektor.
    • Berikan peran IAM berikut ke akun layanan yang ingin Anda gunakan untuk konektor:
      • roles/secretmanager.viewer
      • roles/secretmanager.secretAccessor

      Akun layanan adalah jenis Akun Google khusus yang dimaksudkan untuk mewakili pengguna non-manusia yang perlu diautentikasi dan diberi otorisasi untuk mengakses data di Google API. Jika Anda tidak memiliki akun layanan, Anda harus membuat akun layanan. Untuk mengetahui informasi selengkapnya, lihat Membuat akun layanan.

    • Aktifkan layanan berikut:
      • secretmanager.googleapis.com (Secret Manager API)
      • connectors.googleapis.com (Connectors API)

      Untuk memahami cara mengaktifkan layanan, lihat Mengaktifkan layanan.

    Jika layanan atau izin ini belum diaktifkan untuk project Anda sebelumnya, Anda akan diminta untuk mengaktifkannya saat mengonfigurasi konektor.

Mengonfigurasi konektor

Koneksi khusus untuk sumber data. Artinya, jika Anda memiliki banyak sumber data, Anda harus membuat koneksi terpisah untuk setiap sumber data. Untuk membuat koneksi, lakukan hal berikut:

  1. Di Konsol Cloud, buka halaman Integration Connectors > Connections lalu pilih atau buat project Google Cloud.

    Buka halaman Koneksi

  2. Klik + BUAT BARU untuk membuka halaman Buat Koneksi.
  3. Di bagian Location, pilih lokasi untuk koneksi.
    1. Wilayah: Pilih lokasi dari menu drop-down.

      Untuk mengetahui daftar semua region yang didukung, lihat Lokasi.

    2. Klik NEXT.
  4. Di bagian Detail Koneksi, selesaikan langkah-langkah berikut:
    1. Konektor: Pilih Redshift dari daftar drop-down Konektor yang tersedia.
    2. Versi konektor: Pilih versi Konektor dari daftar drop-down versi yang tersedia.
    3. Di kolom Connection Name, masukkan nama untuk instance Koneksi.

      Nama koneksi harus memenuhi kriteria berikut:

      • Nama koneksi dapat menggunakan huruf, angka, atau tanda hubung.
      • Huruf harus berupa huruf kecil.
      • Nama koneksi harus diawali dengan huruf dan diakhiri dengan huruf atau angka.
      • Nama koneksi tidak boleh melebihi 49 karakter.
    4. Secara opsional, masukkan Deskripsi untuk instance koneksi.
    5. Secara opsional, aktifkan Cloud Logging, lalu pilih level log. Secara default, level log ditetapkan ke Error.
    6. Akun Layanan: Pilih akun layanan yang memiliki peran yang diperlukan.
    7. Jika perlu, konfigurasikan Setelan node koneksi:

      • Jumlah minimum node: Masukkan jumlah minimum node koneksi.
      • Jumlah node maksimum: Masukkan jumlah maksimum node koneksi.

      Node adalah unit (atau replika) koneksi yang memproses transaksi. Jumlah node yang diperlukan untuk memproses lebih banyak transaksi untuk suatu koneksi akan bertambah dan sebaliknya, jumlah node yang diperlukan untuk memproses lebih sedikit transaksi akan berkurang. Untuk memahami pengaruh node terhadap harga konektor, lihat Harga untuk node koneksi. Jika Anda tidak memasukkan nilai apa pun, secara default node minimum ditetapkan ke 2 (untuk ketersediaan yang lebih baik) dan node maksimum ditetapkan ke 50.

    8. Database: Nama database Amazon Redshift.
    9. Buat Otomatis: Tentukan benar (true) untuk membuat pengguna database dengan nama yang ditentukan untuk Pengguna jika pengguna tersebut belum ada saat terhubung dengan kredensial IAM. Lihat AuthScheme .
    10. Db Groups: Daftar nama satu atau beberapa grup database yang ada yang dipisahkan dengan koma, yang diikuti oleh pengguna database untuk sesi saat ini saat terhubung dengan kredensial IAM. Lihat AuthScheme .
    11. BrowsableSchemas: Properti ini membatasi skema yang dilaporkan ke sebagian skema yang tersedia. Misalnya, BrowsableSchemas=SchemaA,SchemaB,SchemaC.
    12. Skema yang Diabaikan: Filter pembatasan visibilitas yang digunakan untuk menyembunyikan daftar skema dengan kueri metadata. Misalnya, 'information_schema, pg_catalog'. Nama skema peka huruf besar/kecil.
    13. Sertakan Jenis Tabel: Jika disetel ke benar (true), penyedia akan membuat kueri untuk jenis tabel dan tampilan individual.
    14. Hapus Nilai Null: Jika disetel, karakter null akan dihapus dari nilai karakter dalam operasi massal.
    15. Visibilitas: Pembatasan visibilitas yang digunakan untuk memfilter metadata yang diekspos untuk tabel dengan hak istimewa yang diberikan kepada pengguna saat ini. Misalnya, filter 'SELECT,INSERT' membatasi visibilitas metadata hanya untuk tabel yang dapat diakses oleh pengguna saat ini untuk operasi SELECT dan INSERT. Nilai hak istimewa yang didukung adalah SELECT, INSERT, UPDATE, DELETE, REFERENCES.
    16. (Opsional) Di bagian Setelan lanjutan, centang kotak Gunakan proxy untuk mengonfigurasi server proxy untuk koneksi dan mengonfigurasi nilai berikut:
      • Proxy Auth Scheme: Pilih jenis autentikasi untuk mengautentikasi dengan server proxy. Jenis autentikasi berikut didukung:
        • Dasar: Autentikasi HTTP dasar.
        • Digest: Autentikasi HTTP Digest.
      • Pengguna Proxy: Nama pengguna yang akan digunakan untuk melakukan autentikasi dengan server proxy.
      • Sandi Proxy: Secret Manager secret dari sandi pengguna.
      • Jenis SSL Proxy: Jenis SSL yang akan digunakan saat terhubung ke server proxy. Jenis autentikasi berikut didukung:
        • Otomatis: Setelan default. Jika URL adalah URL HTTPS, opsi Tunnel akan digunakan. Jika URL adalah URL HTTP, opsi JANGAN PERNAH akan digunakan.
        • Selalu: Koneksi selalu diaktifkan SSL.
        • Tidak Pernah: Koneksi tidak diaktifkan untuk SSL.
        • Tunnel: Koneksi dilakukan melalui proxy tunneling. Server proxy membuka koneksi ke host jarak jauh dan traffic mengalir dua arah melalui proxy.
      • Di bagian Server Proxy, masukkan detail server proxy.
        1. Klik + Tambahkan tujuan.
        2. Pilih Jenis Tujuan.
          • Alamat host: Tentukan nama host atau alamat IP tujuan.

            Jika Anda ingin membuat koneksi pribadi ke sistem backend, lakukan langkah berikut:

    17. Secara opsional, klik + TAMBAHKAN LABEL untuk menambahkan label ke Koneksi dalam bentuk pasangan kunci/nilai.
    18. Klik NEXT.
  5. Di bagian Destinations, masukkan detail host jarak jauh (sistem backend) yang ingin Anda hubungkan.
    1. Jenis Tujuan: Pilih Jenis Tujuan.
      • Untuk menentukan nama host atau alamat IP tujuan, pilih Alamat host dan masukkan alamat di kolom Host 1.
      • Untuk membuat koneksi pribadi, pilih Endpoint attachment dan pilih lampiran yang diperlukan dari daftar Endpoint Attachment.

      Jika ingin membuat koneksi publik ke sistem backend dengan keamanan tambahan, Anda dapat mempertimbangkan mengonfigurasi alamat IP keluar statis untuk koneksi Anda, lalu mengonfigurasi aturan firewall untuk hanya mengizinkan alamat IP statis tertentu.

      Untuk memasukkan tujuan tambahan, klik +TAMBAHKAN TUJUAN.

    2. Klik NEXT.
  6. Di bagian Authentication, masukkan detail autentikasi.
    1. Pilih Jenis autentikasi dan masukkan detail yang relevan.

      Jenis autentikasi berikut didukung oleh koneksi Redshift:

      • Nama pengguna dan sandi
    2. Untuk memahami cara mengonfigurasi jenis autentikasi ini, lihat Mengonfigurasi autentikasi.

    3. Klik NEXT.
  7. Tinjau: Tinjau detail koneksi dan autentikasi Anda.
  8. Klik Buat.

Mengonfigurasi autentikasi

Masukkan detail berdasarkan autentikasi yang ingin Anda gunakan.

  • Nama pengguna dan sandi
    • Nama pengguna: Nama pengguna untuk konektor
    • Sandi: Secret Manager Secret yang berisi sandi yang terkait dengan konektor.

Contoh konfigurasi koneksi

Bagian ini mencantumkan contoh nilai untuk berbagai kolom yang Anda konfigurasi saat membuat koneksi Redshift.

Jenis koneksi autentikasi dasar

Tabel berikut mencantumkan nilai contoh untuk berbagai kolom yang Anda konfigurasi saat membuat koneksi Redshift.

Kolom Nilai contoh
Wilayah us-central1
Konektor Konektor Redshift
Versi Konektor 1
Nama Konektor google-cloud-redshiftdb-basicauth-conn
Akun Layanan SERVICE_ACCOUNT_NAME@PROJECT_ID.iam.gserviceaccount.com
Database dev
BrowsableSchemas public,test
Grup Db NA
Menghapus Nilai Null Ya
Visibilitas SELECT,INSERT
Jumlah minimum node 02
Jumlah maksimum node 50
Alamat Host redshift-cluster-xxx-integration.HOST_NAME.us-east-1.redshift.amazonaws.com
Autentikasi Sandi Pengguna
Nama pengguna NAMA PENGGUNA
Sandi PASSWORD
Versi 1

Entitas, operasi, dan tindakan

Semua Konektor Integrasi menyediakan lapisan abstraksi untuk objek aplikasi yang terhubung. Anda hanya dapat mengakses objek aplikasi melalui abstraksi ini. Abstraksi ini ditampilkan kepada Anda sebagai entitas, operasi, dan tindakan.

  • Entitas: Entitas dapat dianggap sebagai objek, atau kumpulan properti, dalam aplikasi atau layanan yang terhubung. Definisi entitas berbeda dari konektor ke konektor. Misalnya, di konektor database, tabel adalah entitas, di konektor server file, folder adalah entitas, dan di konektor sistem pesan, antrean adalah entitas.

    Namun, ada kemungkinan konektor tidak mendukung atau tidak memiliki entity apa pun, sehingga daftar Entities akan kosong.

  • Operasi: Operasi adalah aktivitas yang dapat Anda lakukan pada entity. Anda dapat melakukan salah satu operasi berikut pada entitas:

    Memilih entitas dari daftar yang tersedia akan menghasilkan daftar operasi yang tersedia untuk entitas tersebut. Untuk deskripsi mendetail tentang operasi, lihat operasi entitas tugas Konektor. Namun, jika konektor tidak mendukung operasi entitas apa pun, operasi yang tidak didukung tersebut tidak tercantum dalam daftar Operations.

  • Tindakan: Tindakan adalah fungsi kelas pertama yang tersedia untuk integrasi melalui antarmuka konektor. Tindakan memungkinkan Anda membuat perubahan pada satu atau beberapa entitas, dan berbeda-beda dari konektor ke konektor. Biasanya, tindakan akan memiliki beberapa parameter input, dan parameter output. Namun, ada kemungkinan konektor tidak mendukung tindakan apa pun, sehingga daftar Actions akan kosong.

Batasan sistem

Konektor Redshift dapat memproses 3 transaksi per detik, per node, dan membatasi transaksi apa pun yang melebihi batas ini. Secara default, Integration Connectors mengalokasikan 2 node (untuk ketersediaan yang lebih baik) untuk koneksi.

Untuk mengetahui informasi tentang batas yang berlaku untuk Integration Connectors, lihat Batas.

Contoh tindakan

Contoh - Menemukan nilai yang lebih besar

Contoh ini menunjukkan cara menjalankan fungsi yang ditentukan pengguna. Fungsi find_greater dalam contoh ini, membandingkan dua bilangan bulat dan menampilkan bilangan bulat yang lebih besar.

  1. Dalam dialog Configure connector task, klik Actions.
  2. Pilih tindakan find_greater, lalu klik Selesai.
  3. Di bagian Task Input pada tugas Connectors, klik connectorInputPayload, lalu masukkan nilai yang mirip dengan berikut di kolom Default Value:
    {
    "$1": 1.0,
    "$2": 5.0
    }
  4. Jika eksekusi tindakan berhasil, kolom connectorOutputPayload tugas konektor akan memiliki nilai yang mirip dengan berikut ini:

    [{
    "bignum": 5.0
    }]

Contoh operasi entity

Contoh - Mencantumkan data entitas

Contoh ini mencantumkan data entity Users.

  1. Dalam dialog Configure connector task, klik Entities.
  2. Pilih Users dari daftar Entity.
  3. Pilih operasi List, lalu klik Selesai.
  4. Di bagian Input Tugas pada tugas Konektor, Anda dapat menetapkan filterClause sesuai kebutuhan Anda.

    Misalnya, menyetel klausa filter ke employeeCode='5100' and startDate='2010-01-01 00:00:00', hanya mencantumkan data yang employeeCode-nya adalah 5100 dan startDate-nya adalah 2010-01-01 00.00.00.

Contoh - Mendapatkan satu record dari entity

Contoh ini mengambil data dari entitas Users.

  1. Dalam dialog Configure connector task, klik Entities.
  2. Pilih User dari daftar Entity.
  3. Pilih operasi Get, lalu klik Selesai.
  4. Di bagian Task Input pada tugas Connectors, klik entityId, lalu masukkan 103032 di kolom Default Value.

    Di sini, 103032 adalah nilai kunci utama entity Users.

Contoh - Menghapus data dari entity

Contoh ini menghapus data dari entity Users.

  1. Dalam dialog Configure connector task, klik Entities.
  2. Pilih Users dari daftar Entity.
  3. Pilih operasi Delete, lalu klik Selesai.
  4. Di bagian Task Input pada tugas Connectors, klik entityId, lalu masukkan 113132 di kolom Default Value.

    Atau, jika entitas memiliki kunci utama komposit, bukan menentukan entityId, Anda dapat menetapkan filterClause. Misalnya, employeeCode='5100' and startDate='2010-01-01 00:00:00'.

Contoh - Membuat rekaman dalam entitas

Contoh ini membuat data dalam entitas Users.

  1. Dalam dialog Configure connector task, klik Entities.
  2. Pilih Users dari daftar Entity.
  3. Pilih operasi Create, lalu klik Selesai.
  4. Di bagian Task Input pada tugas Connectors, klik connectorInputPayload, lalu masukkan nilai yang mirip dengan berikut di kolom Default Value:
    {
    "employeeCode": "5100",
    "startDate": "2010-01-01 00:00:00.0",
    "country": "US"
    }
  5. Jika integrasi berhasil, kolom connectorOutputPayload tugas konektor akan memiliki respons operasi pembuatan.

Contoh - Memperbarui data dalam entity

Contoh ini memperbarui data dalam entitas Users.

  1. Dalam dialog Configure connector task, klik Entities.
  2. Pilih Users dari daftar Entity.
  3. Pilih operasi Update, lalu klik Selesai.
  4. Di bagian Task Input pada tugas Connectors, klik connectorInputPayload, lalu masukkan nilai yang mirip dengan berikut di kolom Default Value:
    {
    "country": "IN"
    }
  5. Di bagian Task Input pada tugas Connectors, klik entityId, lalu masukkan 113132 di kolom Default Value.

    Atau, jika entitas memiliki kunci utama gabungan, bukan menentukan entityId, Anda dapat menetapkan filterClause. Misalnya, employeeCode='5100' and startDate='2010-01-01 00:00:00'.

  6. Jika integrasi berhasil, kolom connectorOutputPayload tugas konektor akan memiliki respons operasi update.

Membuat koneksi menggunakan Terraform

Anda dapat menggunakan resource Terraform untuk membuat koneksi baru.

Untuk mempelajari cara menerapkan atau menghapus konfigurasi Terraform, lihat Perintah dasar Terraform.

Untuk melihat contoh template terraform untuk pembuatan koneksi, lihat contoh template.

Saat membuat koneksi ini menggunakan Terraform, Anda harus menetapkan variabel berikut dalam file konfigurasi Terraform:

Nama parameter Jenis data Wajib Deskripsi
database STRING Benar Nama database Amazon Redshift.
browsable_schemas STRING Salah Properti ini membatasi skema yang dilaporkan ke subset skema yang tersedia. Misalnya, BrowsableSchemas=SchemaA,SchemaB,SchemaC.
db_groups STRING Salah Daftar nama satu atau beberapa grup database yang sudah ada dan diikuti oleh pengguna database untuk sesi saat ini saat terhubung dengan kredensial IAM, yang dipisahkan dengan koma. Lihat AuthScheme .
ignored_schemas STRING Salah Filter pembatasan visibilitas yang digunakan untuk menyembunyikan daftar skema dengan membuat kueri metadata. Misalnya, 'information_schema, pg_catalog'. Nama skema peka huruf besar/kecil.
include_table_types BOOLEAN Salah Jika disetel ke benar (true), penyedia akan membuat kueri untuk jenis tabel dan tampilan individual.
strip_out_nulls BOOLEAN Salah Jika disetel, karakter null akan dihapus dari nilai karakter dalam operasi massal.
visibilitas STRING Salah Pembatasan visibilitas yang digunakan untuk memfilter metadata yang diekspos untuk tabel dengan hak istimewa yang diberikan kepada pengguna saat ini. Misalnya, filter 'SELECT,INSERT' membatasi visibilitas metadata hanya untuk tabel yang dapat diakses oleh pengguna saat ini untuk operasi SELECT dan INSERT. Nilai hak istimewa yang didukung adalah SELECT, INSERT, UPDATE, DELETE, REFERENCES.

Menggunakan koneksi Redshift dalam integrasi

Setelah Anda membuat koneksi, koneksi tersebut akan tersedia di Apigee Integration dan Application Integration. Anda dapat menggunakan koneksi dalam integrasi melalui tugas Konektor.

  • Untuk memahami cara membuat dan menggunakan tugas Konektor di Apigee Integration, lihat Tugas konektor.
  • Untuk memahami cara membuat dan menggunakan tugas Konektor di Integrasi Aplikasi, lihat Tugas konektor.

Mendapatkan bantuan dari komunitas Google Cloud

Anda dapat memposting pertanyaan dan mendiskusikan konektor ini di komunitas Google Cloud di Forum Cloud.

Langkah berikutnya