SFTP

Konektor SFTP memungkinkan Anda terhubung ke server SFTP dan melakukan operasi transfer file.

Sebelum memulai

Di project Google Cloud Anda, lakukan tugas berikut:

  • Pastikan konektivitas jaringan telah disiapkan. Untuk mengetahui informasi, lihat Konektivitas jaringan.
  • Berikan peran IAM roles/connectors.admin kepada pengguna yang mengonfigurasi konektor.
  • Memberikan peran IAM roles/secretmanager.viewer dan roles/secretmanager.secretAccessor ke akun layanan yang ingin Anda gunakan untuk konektor
  • Aktifkan secretmanager.googleapis.com (Secret Manager API) dan connectors.googleapis.com (Connectors API). Untuk mengetahui informasi selengkapnya, lihat Mengaktifkan layanan.

Membuat koneksi SFTP

Koneksi khusus untuk sumber data. Artinya, jika Anda memiliki banyak sumber data, Anda harus membuat koneksi terpisah untuk setiap sumber data. Untuk membuat koneksi, lakukan hal berikut:

  1. Di Konsol Cloud, buka halaman Integration Connectors > Connections lalu pilih atau buat project Google Cloud.

    Buka halaman Koneksi

  2. Klik + Buat baru untuk membuka halaman Buat Koneksi.
  3. Di bagian Lokasi, pilih lokasi dari daftar Wilayah, lalu klik Berikutnya.

    Untuk mengetahui daftar semua region yang didukung, lihat Lokasi.

  4. Di bagian Detail Koneksi, selesaikan langkah-langkah berikut:
    1. Di kolom Connector, pilih SFTP.
    2. Di kolom Versi konektor, pilih versi yang diinginkan.
    3. Di kolom Connection Name, masukkan nama untuk instance koneksi. Nama koneksi dapat berisi huruf kecil, angka, atau tanda hubung. Nama harus diawali dengan huruf dan diakhiri dengan huruf atau angka, serta tidak boleh lebih dari 49 karakter.
    4. Secara opsional, masukkan Deskripsi untuk instance koneksi.
    5. Secara opsional, aktifkan Cloud Logging, lalu pilih level log. Secara default, level log ditetapkan ke Error.
    6. Di kolom Service Account, pilih akun yang memiliki peran yang diperlukan.
    7. (Opsional) Konfigurasi setelan node Koneksi.
      • Jumlah minimum node: Masukkan jumlah minimum node koneksi.
      • Jumlah node maksimum: Masukkan jumlah maksimum node koneksi.

      Node adalah unit (atau replika) koneksi yang memproses transaksi. Jumlah node yang diperlukan untuk memproses lebih banyak transaksi untuk suatu koneksi akan bertambah dan sebaliknya, jumlah node yang diperlukan untuk memproses lebih sedikit transaksi akan berkurang. Untuk memahami pengaruh node terhadap harga konektor, lihat Harga untuk node koneksi. Jika Anda tidak memasukkan nilai apa pun, secara default node minimum ditetapkan ke 2 (untuk ketersediaan yang lebih baik) dan node maksimum ditetapkan ke 50.

    8. (Opsional) Di kolom Remote Path, masukkan jalur folder di server SFTP untuk melakukan operasi entitas, seperti List, Create, Update, atau Delete.
    9. Jika Anda mengakses entitas (file atau folder) di folder root, atau folder turunan langsung dari folder root, Anda tidak perlu menetapkan nilai apa pun ke kolom ini. Namun, jika Anda ingin mengakses entitas bertingkat yang berada di kedalaman 2 tingkat atau lebih dari folder root, Anda harus menetapkan nilai kolom ini ke jalur dasar folder yang memiliki entitas yang ingin Anda akses. Misalnya, jika Anda ingin mengakses file /folder_A/folder_B/folder_C/test.png, Anda harus menyetel Jalur Jarak Jauh ke /folder_A/folder_B/folder_C.

    10. Atau, klik + Tambahkan label untuk menambahkan label ke Koneksi dalam bentuk pasangan kunci/nilai.
    11. Klik Berikutnya.
  5. Di bagian Tujuan, masukkan detail host jarak jauh (sistem backend) yang ingin Anda hubungkan dan klik Berikutnya.
  6. Di kolom Jenis Tujuan, pilih jenis yang diinginkan:

    • Untuk menentukan nama host atau alamat IP tujuan, pilih Alamat host dan masukkan alamat di kolom Host 1.
    • Untuk membuat koneksi pribadi, pilih Endpoint attachment dan pilih lampiran yang diperlukan dari daftar Endpoint Attachment.

    Jika ingin membuat koneksi publik ke sistem backend dengan keamanan tambahan, Anda dapat mempertimbangkan mengonfigurasi alamat IP keluar statis untuk koneksi Anda, lalu mengonfigurasi aturan firewall untuk hanya mengizinkan alamat IP statis tertentu.

  7. Di bagian Autentikasi, pilih Jenis autentikasi dan masukkan detail yang relevan, lalu klik Berikutnya.

    Jenis autentikasi berikut didukung oleh koneksi SFTP:

    • Nama pengguna dan sandi
    • SSH_PUBLIC_KEY

    Untuk memahami cara mengonfigurasi jenis autentikasi ini, lihat Mengonfigurasi autentikasi.

  8. Tinjau detail koneksi dan autentikasi Anda, lalu klik Buat.

Mengonfigurasi autentikasi

Masukkan detail berdasarkan autentikasi yang ingin Anda gunakan.

  • Nama pengguna dan sandi
    • Nama pengguna: Nama pengguna SFTP yang akan digunakan untuk koneksi.
    • Sandi: Secret Manager Secret yang berisi sandi yang terkait dengan nama pengguna SFTP.
  • SSH_PUBLIC_KEY
    • Nama pengguna: Akun pengguna SFTP yang digunakan untuk mengautentikasi.
    • Kunci Pribadi SSH: Kunci Pribadi untuk autentikasi SSH.
    • Sandi Kunci Pribadi SSH: Frasa sandi/sandi yang melindungi kunci pribadi, jika ada.
    • Jenis Kunci Pribadi SSH: Format Kunci Pribadi.

Menggunakan koneksi SFTP dalam integrasi

Setelah Anda membuat koneksi, koneksi tersebut akan tersedia di Apigee Integration dan Application Integration. Anda dapat menggunakan koneksi dalam integrasi melalui tugas Connectors.

  • Untuk memahami cara membuat dan menggunakan tugas Konektor di Apigee Integration, lihat Tugas konektor.
  • Untuk memahami cara membuat dan menggunakan tugas Konektor di Integrasi Aplikasi, lihat Tugas konektor.

Tindakan

Bagian ini mencantumkan beberapa tindakan yang didukung oleh konektor. Untuk memahami cara mengonfigurasi tindakan, lihat Contoh tindakan.

Tindakan upload

Tabel berikut menjelaskan parameter input tindakan Upload.

Nama parameter Jenis data Wajib Deskripsi
Konten String Tidak Konten yang akan diupload sebagai file.
ContentBytes String Tidak Konten byte (sebagai string Base64) yang akan diupload sebagai file. Gunakan ini untuk mengupload data biner.
HasBytes Boolean Tidak Menentukan apakah konten harus diupload sebagai byte. Nilai defaultnya adalah false.
RemoteFile String Ya Nama file di host jarak jauh.
Timpa Boolean Tidak Menentukan apakah file jarak jauh harus ditimpa. Nilai defaultnya adalah false.

Untuk contoh cara mengonfigurasi tindakan Upload, lihat Contoh.

Tindakan download

Tabel berikut menjelaskan parameter input tindakan Download.

Nama parameter Jenis data Wajib Deskripsi
RemoteFile String Ya Nama file di host jarak jauh.
HasBytes Boolean Tidak Menentukan apakah konten harus didownload sebagai byte. Nilai defaultnya adalah false.

Untuk contoh cara mengonfigurasi tindakan Download, lihat Contoh.

Tindakan MoveFile

Tabel berikut menjelaskan parameter input tindakan MoveFile.

Nama parameter Jenis data Wajib Deskripsi
RemoteFile String Ya Jalur file jarak jauh yang akan dipindahkan.
DestinationPath String Ya Jalur baru tempat Anda ingin memindahkan file.

Untuk contoh cara mengonfigurasi tindakan MoveFile, lihat Contoh.

Tindakan RenameFile

Tabel berikut menjelaskan parameter input tindakan RenameFile.

Nama parameter Jenis data Wajib Deskripsi
RemoteFile String Ya Jalur dan nama file jarak jauh yang akan diganti namanya.
NewFileName String Ya Nama baru file jarak jauh.

Untuk contoh cara mengonfigurasi tindakan RenameFile, lihat Contoh.

Contoh

Bagian ini menjelaskan cara melakukan beberapa operasi dan tindakan entitas di konektor ini. Contoh ini menjelaskan operasi berikut:

  • Mencantumkan semua file di direktori root
  • Mencantumkan file yang cocok dengan pola dalam direktori
  • Memindahkan file
  • Mengganti nama file
  • Menghapus file
  • Mengupload file teks ASCII
  • Mengupload file biner
  • Mendownload file teks ASCII
  • Mendownload file biner
  • Mendownload beberapa file

Tabel berikut mencantumkan contoh skenario dan konfigurasi yang sesuai dalam tugas Konektor:

Tugas Contoh perintah Konfigurasi
Mencantumkan semua file di direktori root ls /
  1. Dalam dialog Configure connector task, klik Entities.
  2. Pilih entitas Root, lalu pilih operasi List.
  3. Klik Selesai.
Mencantumkan file .csv dalam direktori ls /tmp/*.csv
  1. Dalam dialog Configure connector task, klik Entities.
  2. Pilih direktori dasar (/tmp) dari daftar Entity.
  3. Pilih operasi List, lalu klik Selesai.
  4. Tetapkan klausa filter. Untuk menyetel klausa, di bagian Input Tugas pada tugas Konektor, klik filterClause lalu masukkan FilePath LIKE '/tmp/%.csv' di kolom Nilai Default.
Memindahkan file mv /tmp/dir_A/hello_world.txt /dir_B/dir_C/
  1. Dalam dialog Configure connector task, klik Actions.
  2. Pilih tindakan MoveFile, lalu klik Selesai.
  3. Di bagian Task Input pada tugas Connectors, klik connectorInputPayload, lalu masukkan nilai yang mirip dengan berikut di kolom Default Value:
    {
    "RemoteFile": "/tmp/dir_A/hello_world.txt",
    "DestinationPath": "/dir_B/dir_C/"
    }

Contoh ini memindahkan file /tmp/dir_A/hello_world.txt ke direktori /dir_B/dir_C/. Menjalankan contoh ini akan menampilkan respons yang mirip dengan berikut di variabel output connectorOutputPayload tugas Connector:

[{
"Success":"true"
}]
Mengganti nama file mv /tmp/hello_world.txt /tmp/hello_world_new.txt
  1. Dalam dialog Configure connector task, klik Actions.
  2. Pilih tindakan RenameFile, lalu klik Selesai.
  3. Di bagian Task Input pada tugas Connectors, klik connectorInputPayload, lalu masukkan nilai yang mirip dengan berikut di kolom Default Value:
    {
    "RemoteFile": "/tmp/hello_world.txt",
    "NewFilename": "hello_world_new.txt"
    }

Contoh ini mengganti nama file hello_world.txt menjadi hello_world_new.txt. Menjalankan contoh ini akan menampilkan respons yang mirip dengan berikut di variabel output connectorOutputPayload tugas Connector:

[{
"Success":"true"
}]
Menghapus file rm /tmp/myfile.csv
  1. Dalam dialog Configure connector task, klik Entities.
  2. Dari daftar Entity, pilih direktori dasar yang berisi file yang akan dipindahkan.
  3. Pilih operasi Delete, lalu klik Selesai.
  4. Tetapkan ID entitas ke jalur lengkap file. Untuk menyetel ID entitas, di bagian Task Input pada tugas Connectors, klik entityId lalu masukkan /tmp/myfile.csv di kolom Default Value.

    Atau, alih-alih menentukan entityId, Anda juga dapat menyetel filterClause ke FilePath LIKE '/tmp/myfile.csv'.

Mengupload file teks ASCII put file_1.txt /tmp/file_1.txt
  1. Dalam dialog Configure connector task, klik Actions.
  2. Pilih tindakan Upload, lalu klik Selesai.
  3. Di bagian Task Input pada tugas Connectors, klik connectorInputPayload, lalu masukkan hal berikut di kolom Default Value:
    {
      "Content": "This is a sample text!\r\n",
      "RemoteFile": "/tmp/file_1.txt",
      "Overwrite": true
    }
  4. Contoh ini membuat file file_1.txt yang memiliki konten This is a sample text! di direktori /tmp server SFTP. Selain itu, file yang sudah ada dengan nama yang sama akan ditimpa karena nilai atribut Overwrite adalah true.

    Setelan atribut Overwrite bersifat opsional; secara default, nilainya adalah false.

Mengupload file biner put image_1.png /tmp/image_1.png Untuk mengupload konten biner, Anda harus mengenkode konten dalam format Base64 terlebih dahulu. Anda dapat memilih alat pilihan Anda untuk mengenkode konten. Langkah-langkah untuk mengenkode konten berada di luar cakupan dokumen ini. Setelah Anda memiliki konten sebagai string Base64, lakukan langkah-langkah berikut:
  1. Dalam dialog Configure connector task, klik Actions.
  2. Pilih tindakan Upload, lalu klik Selesai.
  3. Di bagian Task Input pada tugas Connectors, klik connectorInputPayload, lalu masukkan hal berikut di kolom Default Value:
    {
      "ContentBytes": "SGVsbG8gd29ybGQ=",
      "RemoteFile": "/tmp/image_1.png",
      "Overwrite": true,
      "HasBytes": true
    }
  4. Contoh ini membuat file image_1.png dengan konten seperti yang ditentukan di kolom ContentBytes. File dibuat di direktori /tmp server SFTP. Selain itu, file yang sudah ada dengan nama yang sama akan ditimpa karena nilai atribut Overwrite adalah true.

    Menetapkan atribut Overwrite bersifat opsional; secara default, nilainya adalah false.

Mendownload file teks ASCII get /tmp/myfile.txt
  1. Dalam dialog Configure connector task, klik Actions.
  2. Pilih tindakan Download, lalu klik Selesai.
  3. Di bagian Task Output pada tugas Connectors, klik connectorInputPayload, lalu masukkan teks berikut di kolom Default Value:
    {
    "RemoteFile": "/tmp/myfile.txt"
    }

Konten file yang didownload tersedia sebagai string di kolom Content parameter respons connectorOutputPayload tugas Konektor.

Mendownload file biner get /tmp/myfile.png
  1. Dalam dialog Configure connector task, klik Actions.
  2. Pilih tindakan Download, lalu klik Selesai.
  3. Di bagian Task Output pada tugas Connectors, klik connectorInputPayload, lalu masukkan teks berikut di kolom Default Value:
    {
    "RemoteFile": "/tmp/myfile.png",
    "HasBytes" : true
    }

Konten file yang didownload tersedia sebagai string berenkode Base64 di kolom ContentBytes parameter respons connectorOutputPayload tugas Konektor.

Mendownload beberapa file
  1. Dalam dialog Configure connector task, klik Actions.
  2. Pilih tindakan Download, lalu klik Selesai.
  3. Di bagian Task Output pada tugas Connectors, klik connectorInputPayload, lalu masukkan teks berikut di kolom Default Value:
    {
    "RemoteFile": "/tmp/myfile*.txt"
    }

Batasan sistem

Konektor SFTP dapat memproses 1 transaksi per detik, per node, dan membatasi kecepatan transaksi apa pun yang melampaui batas ini. Secara default, Integration Connectors mengalokasikan 2 node (untuk ketersediaan yang lebih baik) untuk koneksi.

Untuk mengetahui informasi tentang batas yang berlaku untuk Integration Connectors, lihat Batas.

Membuat koneksi menggunakan Terraform

Anda dapat menggunakan resource Terraform untuk membuat koneksi baru.

Untuk mempelajari cara menerapkan atau menghapus konfigurasi Terraform, lihat Perintah dasar Terraform.

Untuk melihat contoh template terraform untuk pembuatan koneksi, lihat contoh template.

Saat membuat koneksi ini menggunakan Terraform, Anda harus menetapkan variabel berikut dalam file konfigurasi Terraform:

Nama parameter Jenis data Wajib Deskripsi
remote_path STRING Salah Jalur saat ini di server SFTP.

Skema JSON untuk payload

Semua objek entitas dalam koneksi SFTP memiliki skema JSON yang telah ditentukan sebelumnya. Objek entitas dalam koneksi SFTP menggunakan skema JSON berikut:

    {
      "type": "object",
      "properties": {
        "FilePath": {
          "type": "string",
          "readOnly": false
        },
        "Filename": {
          "type": [
            "string",
            "null"
          ],
          "readOnly": false,
          "description": "The name of the file or directory."
        },
        "FileSize": {
          "type": [
            "number",
            "null"
          ],
          "readOnly": false,
          "description": "The size of the file."
        },
        "LastModified": {
          "type": [
            "string",
            "null"
          ],
          "readOnly": false
        },
        "IsDirectory": {
          "type": [
            "boolean",
            "null"
          ],
          "readOnly": false
        },
        "Permissions": {
          "type": [
            "string",
            "null"
          ],
          "readOnly": false
        },
        "Owner": {
          "type": [
            "string",
            "null"
          ],
          "readOnly": false
        },
        "OwnerId": {
          "type": [
            "string",
            "null"
          ],
          "readOnly": false
        },
        "Group": {
          "type": [
            "string",
            "null"
          ],
          "readOnly": false
        },
        "GroupId": {
          "type": [
            "string",
            "null"
          ],
          "readOnly": false
        }
      }
    }
  

Mendapatkan bantuan dari komunitas Google Cloud

Anda dapat memposting pertanyaan dan mendiskusikan konektor ini di komunitas Google Cloud di Forum Cloud.

Langkah berikutnya