Cloud Storage
Konektor Google Cloud Storage memungkinkan Anda terhubung ke Google Cloud Storage dan melakukan operasi transfer file.
Sebelum memulai
Sebelum menggunakan konektor Cloud Storage, lakukan tugas berikut:
- Di project Google Cloud Anda:
- Pastikan konektivitas jaringan telah disiapkan. Untuk mengetahui informasi tentang pola jaringan, lihat Konektivitas jaringan.
- Berikan peran IAM roles/connectors.admin kepada pengguna yang mengonfigurasi konektor.
- Berikan peran IAM berikut ke akun layanan yang ingin Anda gunakan untuk konektor:
roles/secretmanager.viewer
roles/secretmanager.secretAccessor
roles/storage.admin
Akun layanan adalah jenis Akun Google khusus yang dimaksudkan untuk mewakili pengguna non-manusia yang perlu diautentikasi dan diberi otorisasi untuk mengakses data di Google API. Jika Anda tidak memiliki akun layanan, Anda harus membuat akun layanan. Untuk mengetahui informasi selengkapnya, lihat Membuat akun layanan.
- Aktifkan layanan berikut:
secretmanager.googleapis.com
(Secret Manager API)connectors.googleapis.com
(Connectors API)
Untuk memahami cara mengaktifkan layanan, lihat Mengaktifkan layanan.
Jika layanan atau izin ini belum diaktifkan untuk project Anda sebelumnya, Anda akan diminta untuk mengaktifkannya saat mengonfigurasi konektor.
Mengonfigurasi konektor
Koneksi khusus untuk sumber data. Artinya, jika Anda memiliki banyak sumber data, Anda harus membuat koneksi terpisah untuk setiap sumber data. Untuk membuat koneksi, lakukan hal berikut:
- Di Konsol Cloud, buka halaman Integration Connectors > Connections lalu pilih atau buat project Google Cloud.
- Klik + BUAT BARU untuk membuka halaman Buat Koneksi.
- Di bagian Location, pilih lokasi untuk koneksi.
- Wilayah: Pilih lokasi dari menu drop-down.
Untuk mengetahui daftar semua region yang didukung, lihat Lokasi.
- Klik NEXT.
- Wilayah: Pilih lokasi dari menu drop-down.
- Di bagian Detail Koneksi, selesaikan langkah-langkah berikut:
- Konektor: Pilih Cloud Storage dari daftar drop-down Konektor yang tersedia.
- Versi konektor: Pilih versi Konektor dari daftar drop-down versi yang tersedia.
- Di kolom Connection Name, masukkan nama untuk instance Koneksi.
Nama koneksi harus memenuhi kriteria berikut:
- Nama koneksi dapat menggunakan huruf, angka, atau tanda hubung.
- Huruf harus berupa huruf kecil.
- Nama koneksi harus diawali dengan huruf dan diakhiri dengan huruf atau angka.
- Nama koneksi tidak boleh melebihi 49 karakter.
- Secara opsional, masukkan Deskripsi untuk instance koneksi.
- Secara opsional, aktifkan Cloud Logging,
lalu pilih level log. Secara default, level log ditetapkan ke
Error
. - Akun Layanan: Pilih akun layanan yang memiliki peran yang diperlukan.
- Jika perlu, konfigurasikan Setelan node koneksi:
- Jumlah minimum node: Masukkan jumlah minimum node koneksi.
- Jumlah node maksimum: Masukkan jumlah maksimum node koneksi.
Node adalah unit (atau replika) koneksi yang memproses transaksi. Jumlah node yang diperlukan untuk memproses lebih banyak transaksi untuk suatu koneksi akan bertambah dan sebaliknya, jumlah node yang diperlukan untuk memproses lebih sedikit transaksi akan berkurang. Untuk memahami pengaruh node terhadap harga konektor, lihat Harga untuk node koneksi. Jika Anda tidak memasukkan nilai apa pun, secara default node minimum ditetapkan ke 2 (untuk ketersediaan yang lebih baik) dan node maksimum ditetapkan ke 50.
- Project ID: ID project Google Cloud tempat data berada.
- Secara opsional, klik + TAMBAHKAN LABEL untuk menambahkan label ke Koneksi dalam bentuk pasangan kunci/nilai.
- Klik NEXT.
- Tinjau: Tinjau koneksi Anda.
- Klik Buat.
Entitas, operasi, dan tindakan
Semua Konektor Integrasi menyediakan lapisan abstraksi untuk objek aplikasi yang terhubung. Anda hanya dapat mengakses objek aplikasi melalui abstraksi ini. Abstraksi ini ditampilkan kepada Anda sebagai entitas, operasi, dan tindakan.
- Entitas: Entitas dapat dianggap sebagai objek, atau kumpulan properti, dalam aplikasi atau layanan yang terhubung. Definisi entitas berbeda dari konektor ke
konektor. Misalnya, di konektor database, tabel adalah entitas, di konektor server file, folder adalah entitas, dan di konektor sistem pesan, antrean adalah entitas.
Namun, ada kemungkinan konektor tidak mendukung atau tidak memiliki entity apa pun, sehingga daftar
Entities
akan kosong. - Operasi: Operasi adalah aktivitas yang dapat Anda lakukan pada entity. Anda dapat melakukan
salah satu operasi berikut pada entitas:
Memilih entitas dari daftar yang tersedia akan menghasilkan daftar operasi yang tersedia untuk entitas tersebut. Untuk deskripsi mendetail tentang operasi, lihat operasi entitas tugas Konektor. Namun, jika konektor tidak mendukung operasi entitas apa pun, operasi yang tidak didukung tersebut tidak tercantum dalam daftar
Operations
. - Tindakan: Tindakan adalah fungsi kelas pertama yang tersedia untuk integrasi melalui antarmuka konektor. Tindakan memungkinkan Anda membuat perubahan pada satu atau beberapa entitas, dan
berbeda-beda dari konektor ke konektor. Biasanya, tindakan akan memiliki beberapa parameter input, dan parameter output. Namun, ada kemungkinan
konektor tidak mendukung tindakan apa pun, sehingga daftar
Actions
akan kosong.
Batasan sistem
Konektor Google Cloud Storage dapat memproses maksimum 10 transaksi per detik, per node, dan membatasi transaksi apa pun yang melampaui batas ini. Secara default, Integration Connectors mengalokasikan 2 node (untuk ketersediaan yang lebih baik) untuk koneksi.
Untuk mengetahui informasi tentang batas yang berlaku untuk Integration Connectors, lihat Batas.
Tindakan
Koneksi Google Cloud Storage mendukung tindakan berikut:
Tindakan DownloadObject
Tabel berikut menjelaskan parameter input tindakan DownloadObject
.
Nama parameter | Wajib | Jenis data | Deskripsi |
---|---|---|---|
Bucket | Ya | String | Nama bucket tempat objek yang akan didownload berada. |
ObjectFilePath | Tidak | String | Nama objek yang harus didownload. Jika tidak ditentukan, semua
objek dari bucket yang ditentukan akan didownload.
Jika objek yang akan didownload ada di folder turunan bucket, Anda harus
memberikan jalur lengkap objek tersebut. Misalnya, untuk mendownload |
HasBytes | Tidak | Boolean | Apakah akan mendownload konten sebagai byte. Nilai yang valid adalah true atau false .
Jika disetel ke true , konten akan didownload sebagai string berenkode Base64 .
Secara default, kolom |
UpdatedEndDate | Tidak | Tanggal | Rentang tanggal akhir untuk mendownload objek. Jika tidak ditentukan, objek
akan didownload dari UpdatedStartDate yang ditentukan hingga hari ini. |
UpdatedStartDate | Tidak | Tanggal | Awal rentang tanggal untuk mendownload objek. Jika tidak ditentukan, objek akan didownload dari awal waktu hingga UpdatedEndDate . |
Untuk contoh cara mengonfigurasi tindakan DownloadObject
, lihat Contoh.
Tindakan UploadObject
Tabel berikut menjelaskan parameter input tindakan UploadObject
.
Nama parameter | Wajib | Jenis data | Deskripsi |
---|---|---|---|
Bucket | Ya | String | Nama bucket tempat objek akan diupload. |
FolderPath | Tidak | String | Jalur ke folder tempat objek harus diupload. |
ContentBytes | Tidak | String | Konten yang akan diupload dalam bentuk byte (string berenkode Base64). |
HasBytes | Tidak | Boolean | Apakah akan mengupload konten sebagai byte. Nilai yang valid; true atau false .
Jika disetel ke true , konten yang ingin Anda upload harus berupa string berenkode Base64.
Secara default, kolom |
Konten | Ya | String | Konten yang akan diupload. |
ObjectName | Tidak | String | Nama objek yang akan diupload. |
Untuk contoh cara mengonfigurasi tindakan UploadObject
, lihat Contoh.
Tindakan CopyObject
Tabel berikut menjelaskan parameter input tindakan CopyObject
.
Nama parameter | Wajib | Jenis data | Deskripsi |
---|---|---|---|
BucketSource | Ya | String | Nama bucket tempat Anda ingin menyalin objek. |
ObjectSource | Ya | String | Jalur lengkap folder tempat Anda ingin menyalin objek. |
BucketDestination | Ya | String | Nama bucket tempat Anda ingin menyalin objek. |
ObjectDestination | Tidak | String | Jalur lengkap tujuan, termasuk nama objek. Jika Anda tidak menentukan nama objek apa pun, nama objek sumber akan dipertahankan. |
Untuk contoh cara mengonfigurasi tindakan CopyObject
, lihat Contoh.
Tindakan MoveObject
Tabel berikut menjelaskan parameter input tindakan MoveObject.
Nama parameter | Wajib | Jenis data | Deskripsi |
---|---|---|---|
BucketSource | Ya | String | Nama bucket tempat Anda ingin memindahkan objek. |
ObjectSource | Ya | String | Jalur lengkap folder tempat Anda ingin memindahkan objek. |
BucketDestination | Ya | String | Nama bucket tempat Anda ingin memindahkan objek. |
ObjectDestination | Tidak | String | Jalur lengkap tujuan, termasuk nama objek. Jika Anda tidak menentukan nama objek apa pun, nama objek sumber akan dipertahankan. |
Tindakan DeleteObject
Tabel berikut menjelaskan parameter input tindakan DeleteObject
.
Nama parameter | Wajib | Jenis data | Deskripsi |
---|---|---|---|
BucketSource | Ya | String | Nama bucket tempat objek yang akan dihapus berada. |
ObjectSource | Ya | String | Nama objek yang ingin Anda hapus. |
Generation | Tidak | Ganda | Versi objek yang akan dihapus. Jika ada, akan menghapus revisi objek yang ditentukan secara permanen, bukan versi terbaru, yang merupakan perilaku default. |
IfGenerationMatch | Tidak | Ganda | Membuat operasi penghapusan bersyarat pada apakah generasi objek saat ini cocok dengan nilai yang diberikan. Menetapkan nilai ini ke |
IfGenerationNotMatch | Tidak | Ganda | Membuat operasi penghapusan bersyarat pada apakah generasi objek saat ini tidak cocok dengan
nilai yang diberikan. Jika tidak ada objek aktif, prasyarat akan gagal. Menetapkan nilai ini ke
0 akan membuat operasi berhasil hanya jika ada versi aktif objek. |
IfMetagenerationMatch | Tidak | Ganda | Membuat operasi penghapusan bersyarat pada apakah metagenerasi objek saat ini cocok dengan nilai yang ditentukan. |
IfMetagenerationNotMatch | Tidak | Ganda | Membuat operasi penghapusan bersyarat pada apakah metagenerasi objek saat ini tidak cocok dengan nilai yang ditentukan. |
Tindakan SignURL
Tabel berikut menjelaskan parameter input tindakan SignURL
yang
membuat URL yang ditandatangani untuk objek yang ditentukan.
Nama parameter | Wajib | Jenis data | Deskripsi |
---|---|---|---|
Bucket | Ya | String | Nama bucket tempat objek berada. |
Objek | Ya | String | Nama objek yang akan dibuat SignedURL-nya. |
RequestMethod | Tidak | String | Metode yang akan digunakan permintaan yang ditandatangani. Nilai defaultnya adalah GET . |
Lokasi | Tidak | String | Lokasi bucket yang ditentukan. Nilai defaultnya adalah auto . |
ActiveDateTime | Tidak | String | dateTime saat SignedURL akan aktif. Jika tidak ditentukan, dateTime saat ini akan digunakan. |
Kueri | Tidak | String | String kueri yang harus disertakan saat menggunakan SignedURL. Jika tidak ditentukan, tidak ada string kueri yang akan digunakan. |
CustomHeaders | Tidak | String | Daftar header yang dipisahkan koma dalam format name=value untuk digunakan dengan SignedURL. Jika tidak ditentukan, header kustom tidak akan digunakan. |
ExpiresIn | Ya | String | Waktu habis masa berlaku untuk SignedURL harus dalam format: 1d2h3m4s , nilai maksimumnya adalah 7d0h0m0s . |
ID Akses HMAC | Ya | String | ID akses HMAC. Untuk mengetahui informasi selengkapnya, lihat Kunci HMAC. |
Rahasia HMAC | Ya | String | Secret HMAC. |
Contoh
Contoh di bagian ini menjelaskan operasi berikut:
- Mencantumkan semua objek
- Mencantumkan semua objek dalam bucket
- Mencantumkan objek menggunakan filter LIKE untuk nama
- Mencantumkan semua bucket
- Download objek
- Mendownload objek biner
- Mengupload objek biner ke bucket
- Mengupload bbjek ke bucket
- Mengupload objek ke folder
- Salin objek
- Memindahkan objek
- Menghapus objek
- Membuat URL yang ditandatangani untuk objek
Tabel berikut mencantumkan contoh skenario dan konfigurasi yang sesuai dalam tugas Konektor:
Tugas | Konfigurasi |
---|---|
Mencantumkan semua objek |
Perintah ini mencantumkan semua objek di semua bucket. Objek dicantumkan dalam
parameter respons |
Mencantumkan semua objek dalam bucket |
|
Mencantumkan objek menggunakan filter LIKE untuk nama |
|
Mencantumkan semua bucket |
|
Download objek |
Contoh ini mendownload file |
Mendownload objek biner |
Langkah-langkah untuk mendownload objek biner sama dengan mendownload objek biasa seperti yang dijelaskan sebelumnya. Selain itu, Anda harus menentukan { "Bucket": "bucket-test-01", "ObjectFilePath": "image01.png", "HasBytes" : true } Jika download berhasil, output di kolom { "Success": "true", "ContentBytes": "SGVsbG8gdGVzdCE\u003d" } Secara default, kolom Jika file berisi karakter khusus, seperti ä, Ø, Thành, lakukan langkah-langkah berikut:
|
Mengupload objek biner ke bucket |
Contoh ini membuat file |
Mengupload bbjek ke bucket |
Contoh ini membuat file |
Mengupload objek ke folder |
Contoh ini membuat file |
Salin objek |
Contoh ini menyalin file Jika penyalinan berhasil, output di kolom { "Success": "true" } |
Memindahkan objek |
Contoh ini memindahkan file Jika penyalinan berhasil, output di kolom { "Success": "true" } |
Menghapus objek |
Contoh ini menghapus file Jika penyalinan berhasil, output di kolom { "Success": "true" } |
Membuat URL yang ditandatangani untuk objek |
Contoh ini membuat URL yang ditandatangani untuk file { "Success": "true", "SignURL": "https://storage.googleapis.com/example-bucket/cat.jpeg?X-Goog-Algorithm= GOOG4-RSA-SHA256&X-Goog-Credential=example%40example-project.iam.gserviceaccount.com %2F20181026%2Fus-central1%2Fstorage%2Fgoog4_request&X-Goog-Date=20181026T18 1309Z&X-Goog-Expires=900&X-Goog-SignedHeaders=host&X-Goog-Signature=247a2aa45f16 9edf4d187d54e7cc46e4731b1e6273242c4f4c39a1d2507a0e58706e25e3a85a7dbb891d62afa849 6def8e260c1db863d9ace85ff0a184b894b117fe46d1225c82f2aa19efd52cf21d3e2022b3b868dc c1aca2741951ed5bf3bb25a34f5e9316a2841e8ff4c530b22ceaa1c5ce09c7cbb5732631510c2058 0e61723f5594de3aea497f195456a2ff2bdd0d13bad47289d8611b6f9cfeef0c46c91a455b94e90a 66924f722292d21e24d31dcfb38ce0c0f353ffa5a9756fc2a9f2b40bc2113206a81e324fc4fd6823 a29163fa845c8ae7eca1fcf6e5bb48b3200983c56c5ca81fffb151cca7402beddfc4a76b13344703 2ea7abedc098d2eb14a7" } |
Pertimbangan
- Objek yang dapat didownload dapat memiliki ukuran maksimum 10 MB.
- Anda tidak dapat mengupload beberapa file menggunakan tindakan
UploadObject
. Anda hanya dapat mengupload satu file.
Membuat koneksi menggunakan Terraform
Anda dapat menggunakan resource Terraform untuk membuat koneksi baru.
Untuk mempelajari cara menerapkan atau menghapus konfigurasi Terraform, lihat Perintah dasar Terraform.
Untuk melihat contoh template terraform untuk pembuatan koneksi, lihat contoh template.
Saat membuat koneksi ini menggunakan Terraform, Anda harus menetapkan variabel berikut dalam file konfigurasi Terraform:
Nama parameter | Jenis data | Wajib | Deskripsi |
---|---|---|---|
project_id | STRING | Benar | ID project Google Cloud tempat data berada. |
Menggunakan koneksi Cloud Storage dalam integrasi
Setelah Anda membuat koneksi, koneksi tersebut akan tersedia di Apigee Integration dan Application Integration. Anda dapat menggunakan koneksi dalam integrasi melalui tugas Konektor.
- Untuk memahami cara membuat dan menggunakan tugas Konektor di Apigee Integration, lihat Tugas konektor.
- Untuk memahami cara membuat dan menggunakan tugas Konektor di Integrasi Aplikasi, lihat Tugas konektor.
Mendapatkan bantuan dari komunitas Google Cloud
Anda dapat memposting pertanyaan dan mendiskusikan konektor ini di komunitas Google Cloud di Forum Cloud.Langkah berikutnya
- Pahami cara menangguhkan dan melanjutkan koneksi.
- Pahami cara memantau penggunaan konektor.
- Pahami cara melihat log konektor.