FTP

Konektor FTP memungkinkan Anda terhubung ke server FTP dan melakukan operasi transfer file.

Sebelum memulai

Sebelum menggunakan konektor FTP, lakukan tugas berikut:

  • Di project Google Cloud Anda:
    • Pastikan konektivitas jaringan telah disiapkan. Untuk mengetahui informasi tentang pola jaringan, lihat Konektivitas jaringan.
    • Berikan peran IAM roles/connectors.admin kepada pengguna yang mengonfigurasi konektor.
    • Berikan peran IAM berikut ke akun layanan yang ingin Anda gunakan untuk konektor:
      • roles/secretmanager.viewer
      • roles/secretmanager.secretAccessor

      Akun layanan adalah jenis Akun Google khusus yang dimaksudkan untuk mewakili pengguna non-manusia yang perlu diautentikasi dan diberi otorisasi untuk mengakses data di Google API. Jika Anda tidak memiliki akun layanan, Anda harus membuat akun layanan. Untuk mengetahui informasi selengkapnya, lihat Membuat akun layanan.

    • Aktifkan layanan berikut:
      • secretmanager.googleapis.com (Secret Manager API)
      • connectors.googleapis.com (Connectors API)

      Untuk memahami cara mengaktifkan layanan, lihat Mengaktifkan layanan.

    Jika layanan atau izin ini belum diaktifkan untuk project Anda sebelumnya, Anda akan diminta untuk mengaktifkannya saat mengonfigurasi konektor.

Mengonfigurasi konektor

Koneksi khusus untuk sumber data. Artinya, jika Anda memiliki banyak sumber data, Anda harus membuat koneksi terpisah untuk setiap sumber data. Untuk membuat koneksi, lakukan hal berikut:

  1. Di Konsol Cloud, buka halaman Integration Connectors > Connections lalu pilih atau buat project Google Cloud.

    Buka halaman Koneksi

  2. Klik + Buat baru untuk membuka halaman Buat Koneksi.
  3. Di bagian Location, pilih lokasi untuk koneksi.
    1. Wilayah: Pilih lokasi dari menu drop-down.

      Untuk mengetahui daftar semua region yang didukung, lihat Lokasi.

    2. Klik Berikutnya.
  4. Di bagian Detail Koneksi, selesaikan langkah-langkah berikut:
    1. Konektor: Pilih FTP dari menu drop-down Konektor yang tersedia.
    2. Versi konektor: Pilih versi Konektor dari daftar drop-down versi yang tersedia.
    3. Di kolom Connection Name, masukkan nama untuk instance Koneksi.

      Nama koneksi harus memenuhi kriteria berikut:

      • Nama koneksi dapat menggunakan huruf, angka, atau tanda hubung.
      • Huruf harus berupa huruf kecil.
      • Nama koneksi harus diawali dengan huruf dan diakhiri dengan huruf atau angka.
      • Nama koneksi tidak boleh melebihi 49 karakter.
    4. Secara opsional, masukkan Deskripsi untuk instance koneksi.
    5. Secara opsional, aktifkan Cloud Logging, lalu pilih level log. Secara default, level log ditetapkan ke Error.
    6. Akun Layanan: Pilih akun layanan yang memiliki peran yang diperlukan.
    7. Jika perlu, konfigurasikan Setelan node koneksi:

      • Jumlah minimum node: Masukkan jumlah minimum node koneksi.
      • Jumlah node maksimum: Masukkan jumlah maksimum node koneksi.

      Node adalah unit (atau replika) koneksi yang memproses transaksi. Jumlah node yang diperlukan untuk memproses lebih banyak transaksi untuk suatu koneksi akan bertambah dan sebaliknya, jumlah node yang diperlukan untuk memproses lebih sedikit transaksi akan berkurang. Untuk memahami pengaruh node terhadap harga konektor, lihat Harga untuk node koneksi. Jika Anda tidak memasukkan nilai apa pun, secara default node minimum ditetapkan ke 2 (untuk ketersediaan yang lebih baik) dan node maksimum ditetapkan ke 50.

    8. Kedalaman Pengambilan File: Tentukan tingkat kedalaman folder yang ingin Anda kueri dari tabel Root.
    9. Pasif: Mengontrol apakah akan mengarahkan server ke mode pasif. Direkomendasikan jika berada di balik firewall.
    10. Jalur Jarak Jauh: Jalur saat ini di server FTP.
    11. Mode SSL: Mekanisme autentikasi yang akan digunakan saat terhubung ke server FTP.
    12. Kedalaman Tabel: Tingkat kedalaman untuk menampilkan subfolder sebagai tampilan.
    13. Menggunakan MLSD: Menggunakan listingan untuk pemrosesan mesin. Hanya digunakan untuk server FTP.
    14. Atau, klik + Tambahkan label untuk menambahkan label ke Koneksi dalam bentuk pasangan kunci/nilai.
    15. Klik Berikutnya.
  5. Di bagian Destinations, masukkan detail host jarak jauh (sistem backend) yang ingin Anda hubungkan.
    1. Jenis Tujuan: Pilih Jenis Tujuan.
      • Untuk menentukan nama host atau alamat IP tujuan, pilih Alamat host dan masukkan alamat di kolom Host 1.
      • Untuk membuat koneksi pribadi, pilih Endpoint attachment dan pilih lampiran yang diperlukan dari daftar Endpoint Attachment.

      Jika ingin membuat koneksi publik ke sistem backend dengan keamanan tambahan, Anda dapat mempertimbangkan mengonfigurasi alamat IP keluar statis untuk koneksi Anda, lalu mengonfigurasi aturan firewall untuk hanya mengizinkan alamat IP statis tertentu.

      Untuk memasukkan tujuan tambahan, klik +Tambahkan Tujuan.

    2. Klik Berikutnya.
  6. Di bagian Authentication, masukkan detail autentikasi.
    1. Pilih Jenis autentikasi dan masukkan detail yang relevan.

      Jenis autentikasi berikut didukung oleh koneksi FTP:

      • Nama pengguna dan sandi

      2. Untuk memahami cara mengonfigurasi jenis autentikasi ini, lihat Mengonfigurasi autentikasi.

    2. Klik Berikutnya.
  7. Tinjau: Tinjau detail koneksi dan autentikasi Anda.
  8. Klik Buat.

Mengonfigurasi autentikasi

Masukkan detail berdasarkan autentikasi yang ingin Anda gunakan.

  • Nama pengguna dan sandi
    • Nama pengguna: Nama pengguna FTP yang akan digunakan untuk koneksi.
    • Sandi: Secret Manager Secret yang berisi sandi yang terkait dengan nama pengguna FTP.

Entitas, operasi, dan tindakan

Semua Konektor Integrasi menyediakan lapisan abstraksi untuk objek aplikasi yang terhubung. Anda hanya dapat mengakses objek aplikasi melalui abstraksi ini. Abstraksi ini ditampilkan kepada Anda sebagai entitas, operasi, dan tindakan.

  • Entitas: Entitas dapat dianggap sebagai objek, atau kumpulan properti, dalam aplikasi atau layanan yang terhubung. Definisi entitas berbeda dari konektor ke konektor. Misalnya, di konektor database, tabel adalah entitas, di konektor server file, folder adalah entitas, dan di konektor sistem pesan, antrean adalah entitas.

    Namun, ada kemungkinan konektor tidak mendukung atau tidak memiliki entity apa pun, sehingga daftar Entities akan kosong.

  • Operasi: Operasi adalah aktivitas yang dapat Anda lakukan pada entity. Anda dapat melakukan salah satu operasi berikut pada entitas:

    Memilih entitas dari daftar yang tersedia akan menghasilkan daftar operasi yang tersedia untuk entitas tersebut. Untuk deskripsi mendetail tentang operasi, lihat operasi entitas tugas Konektor. Namun, jika konektor tidak mendukung operasi entitas apa pun, operasi yang tidak didukung tersebut tidak tercantum dalam daftar Operations.

  • Tindakan: Tindakan adalah fungsi kelas pertama yang tersedia untuk integrasi melalui antarmuka konektor. Tindakan memungkinkan Anda membuat perubahan pada satu atau beberapa entitas, dan berbeda-beda dari konektor ke konektor. Biasanya, tindakan akan memiliki beberapa parameter input, dan parameter output. Namun, ada kemungkinan konektor tidak mendukung tindakan apa pun, sehingga daftar Actions akan kosong.

Batasan sistem

Konektor FTP dapat memproses 1 transaksi per detik, per node, dan membatasi transaksi apa pun yang melebihi batas ini. Secara default, Integration Connectors mengalokasikan 2 node (untuk ketersediaan yang lebih baik) untuk koneksi.

Untuk mengetahui informasi tentang batas yang berlaku untuk Integration Connectors, lihat Batas.

Tindakan

Bagian ini mencantumkan beberapa tindakan yang didukung oleh konektor. Untuk memahami cara mengonfigurasi tindakan, lihat Contoh tindakan.

Tindakan upload

Tabel berikut menjelaskan parameter input tindakan Upload.

Nama parameter Jenis data Wajib Deskripsi
Konten String Tidak Konten yang akan diupload sebagai file.
ContentBytes String Tidak Konten byte (sebagai string Base64) yang akan diupload sebagai file. Gunakan ini untuk mengupload data biner.
HasBytes Boolean Tidak Menentukan apakah konten harus diupload sebagai byte. Nilai defaultnya adalah false.
RemoteFile String Ya Nama file di host jarak jauh.
Timpa Boolean Tidak Menentukan apakah file jarak jauh harus ditimpa. Nilai defaultnya adalah false.

Untuk contoh cara mengonfigurasi tindakan Upload, lihat Contoh.

Tindakan download

Tabel berikut menjelaskan parameter input tindakan Download.

Nama parameter Jenis data Wajib Deskripsi
RemoteFile String Ya Nama file di host jarak jauh.
HasBytes Boolean Tidak Menentukan apakah konten harus didownload sebagai byte. Nilai defaultnya adalah false.

Untuk contoh cara mengonfigurasi tindakan Download, lihat Contoh.

Tindakan MoveFile

Tabel berikut menjelaskan parameter input tindakan MoveFile.

Nama parameter Jenis data Wajib Deskripsi
RemoteFile String Ya Jalur file jarak jauh yang akan dipindahkan.
DestinationPath String Ya Jalur baru tempat Anda ingin memindahkan file.

Untuk contoh cara mengonfigurasi tindakan MoveFile, lihat Contoh.

Tindakan RenameFile

Tabel berikut menjelaskan parameter input tindakan RenameFile.

Nama parameter Jenis data Wajib Deskripsi
RemoteFile String Ya Jalur dan nama file jarak jauh yang akan diganti namanya.
NewFileName String Ya Nama baru file jarak jauh.

Untuk contoh cara mengonfigurasi tindakan RenameFile, lihat Contoh.

Contoh

Bagian ini menjelaskan cara melakukan beberapa operasi dan tindakan entitas di konektor ini. Contoh ini menjelaskan operasi berikut:

  • Mencantumkan semua file di direktori root
  • Mencantumkan file yang cocok dengan pola dalam direktori
  • Memindahkan file
  • Mengganti nama file
  • Menghapus file
  • Mengupload file teks ASCII
  • Mengupload file biner
  • Mendownload file teks ASCII
  • Mendownload file biner

Tabel berikut mencantumkan contoh skenario dan konfigurasi yang sesuai dalam tugas Konektor:

Tugas Contoh perintah Konfigurasi
Mencantumkan semua file di direktori root ls /
  1. Dalam dialog Configure connector task, klik Entities.
  2. Pilih entitas Root, lalu pilih operasi List.
  3. Klik Selesai.
Mencantumkan file .csv dalam direktori ls /tmp/*.csv
  1. Dalam dialog Configure connector task, klik Entities.
  2. Pilih direktori dasar (/tmp) dari daftar Entity.
  3. Pilih operasi List, lalu klik Selesai.
  4. Tetapkan klausa filter. Untuk menyetel klausa, di bagian Input Tugas pada tugas Konektor, klik filterClause lalu masukkan FilePath LIKE '/tmp/%.csv' di kolom Nilai Default.
Memindahkan file mv /tmp/dir_A/hello_world.txt /dir_B/dir_C/
  1. Dalam dialog Configure connector task, klik Actions.
  2. Pilih tindakan MoveFile, lalu klik Selesai.
  3. Di bagian Task Input pada tugas Connectors, klik connectorInputPayload, lalu masukkan nilai yang mirip dengan berikut di kolom Default Value: 
    {
"RemoteFile": "/tmp/dir_A/hello_world.txt",
"DestinationPath": "/dir_B/dir_C/"
}

Contoh ini memindahkan file /tmp/dir_A/hello_world.txt ke direktori /dir_B/dir_C/. Menjalankan contoh ini akan menampilkan respons yang mirip dengan berikut di variabel output connectorOutputPayload tugas Connector:

[{
"Success":"true"
}]
Mengganti nama file mv /tmp/hello_world.txt /tmp/hello_world_new.txt
  1. Dalam dialog Configure connector task, klik Actions.
  2. Pilih tindakan RenameFile, lalu klik Selesai.
  3. Di bagian Task Input pada tugas Connectors, klik connectorInputPayload, lalu masukkan nilai yang mirip dengan berikut di kolom Default Value: 
    {
"RemoteFile": "/tmp/hello_world.txt",
"NewFilename": "hello_world_new.txt"
}

Contoh ini mengganti nama file hello_world.txt menjadi hello_world_new.txt. Menjalankan contoh ini akan menampilkan respons yang mirip dengan berikut di variabel output connectorOutputPayload tugas Connector:

[{
"Success":"true"
}]
Menghapus file rm /tmp/myfile.csv
  1. Dalam dialog Configure connector task, klik Entities.
  2. Dari daftar Entity, pilih direktori dasar yang berisi file yang akan dipindahkan.
  3. Pilih operasi Delete, lalu klik Selesai.
  4. Tetapkan ID entitas ke jalur lengkap file. Untuk menyetel ID entitas, di bagian Task Input pada tugas Connectors, klik entityId lalu masukkan /tmp/myfile.csv di kolom Default Value.

    Atau, alih-alih menentukan entityId, Anda juga dapat menyetel filterClause ke FilePath LIKE '/tmp/myfile.csv'.
Mengupload file teks ASCII put file_1.txt /tmp/file_1.txt
  1. Dalam dialog Configure connector task, klik Actions.
  2. Pilih tindakan Upload, lalu klik Selesai.
  3. Di bagian Task Input pada tugas Connectors, klik connectorInputPayload, lalu masukkan hal berikut di kolom Default Value: 
    {
  "Content": "This is a sample text!\r\n",
  "RemoteFile": "/tmp/file_1.txt",
  "Overwrite": true
}

    4. Contoh ini membuat file file_1.txt yang memiliki konten This is a sample text! di direktori /tmp server FTP. Selain itu, file yang sudah ada dengan nama yang sama akan ditimpa karena nilai atribut Overwrite adalah true.

    Setelan atribut Overwrite bersifat opsional; secara default, nilainya adalah false.

Mengupload file biner put image_1.png /tmp/image_1.png Untuk mengupload konten biner, Anda harus mengenkode konten dalam format Base64 terlebih dahulu. Anda dapat memilih alat pilihan Anda untuk mengenkode konten. Langkah-langkah untuk mengenkode konten berada di luar cakupan dokumen ini. Setelah Anda memiliki konten sebagai string Base64, lakukan langkah-langkah berikut:
  1. Dalam dialog Configure connector task, klik Actions.
  2. Pilih tindakan Upload, lalu klik Selesai.
  3. Di bagian Task Input pada tugas Connectors, klik connectorInputPayload, lalu masukkan hal berikut di kolom Default Value: 
    {
  "ContentBytes": "SGVsbG8gd29ybGQ=",
  "RemoteFile": "/tmp/image_1.png",
  "Overwrite": true,
  "HasBytes": true
}

    4. Contoh ini membuat file image_1.png dengan konten seperti yang ditentukan di kolom ContentBytes. File dibuat di direktori /tmp server FTP. Selain itu, file yang sudah ada dengan nama yang sama akan ditimpa karena nilai atribut Overwrite adalah true.

    Menetapkan atribut Overwrite bersifat opsional; secara default, nilainya adalah false.

Mendownload file teks ASCII get /tmp/myfile.txt
  1. Dalam dialog Configure connector task, klik Actions.
  2. Pilih tindakan Download, lalu klik Selesai.
  3. Di bagian Task Output pada tugas Connectors, klik connectorInputPayload, lalu masukkan teks berikut di kolom Default Value: 
    {
"RemoteFile": "/tmp/myfile.txt"
}

Konten file yang didownload tersedia sebagai string di kolom Content parameter respons connectorOutputPayload tugas Konektor.

Mendownload file biner get /tmp/myfile.png
  1. Dalam dialog Configure connector task, klik Actions.
  2. Pilih tindakan Download, lalu klik Selesai.
  3. Di bagian Task Output pada tugas Connectors, klik connectorInputPayload, lalu masukkan teks berikut di kolom Default Value: 
    {
"RemoteFile": "/tmp/myfile.png",
"HasBytes" : true
}

Konten file yang didownload tersedia sebagai string berenkode Base64 di kolom ContentBytes parameter respons connectorOutputPayload tugas Konektor.

Skema JSON untuk payload

Semua objek entitas dalam koneksi FTP memiliki skema JSON yang telah ditentukan sebelumnya. Dengan pemahaman yang baik tentang skema, Anda dapat dengan mudah mengonfigurasi nilai payload input atau output. Objek entitas dalam koneksi FTP menggunakan skema JSON berikut:

  {
    "type": "object",
    "properties": {
      "FilePath": {
        "type": "string",
        "readOnly": false
      },
      "Filename": {
        "type": [
          "string",
          "null"
        ],
        "readOnly": false,
        "description": "The name of the file or directory."
      },
      "FileSize": {
        "type": [
          "number",
          "null"
        ],
        "readOnly": false,
        "description": "The size of the file."
      },
      "LastModified": {
        "type": [
          "string",
          "null"
        ],
        "readOnly": false
      },
      "IsDirectory": {
        "type": [
          "boolean",
          "null"
        ],
        "readOnly": false
      },
      "Permissions": {
        "type": [
          "string",
          "null"
        ],
        "readOnly": false
      },
      "Owner": {
        "type": [
          "string",
          "null"
        ],
        "readOnly": false
      },
      "OwnerId": {
        "type": [
          "string",
          "null"
        ],
        "readOnly": false
      },
      "Group": {
        "type": [
          "string",
          "null"
        ],
        "readOnly": false
      },
      "GroupId": {
        "type": [
          "string",
          "null"
        ],
        "readOnly": false
      }
    }
  }

Konfigurasi dinamis filterClause

Untuk operasi List, Update, dan Delete, Anda dapat menetapkan nilai variabel input filterClasue secara dinamis saat runtime menggunakan tugas Pemetaan Data dalam integrasi Anda. Misalnya, Anda mungkin ingin mengirim nilai klausa filter saat memanggil pemicu API dalam integrasi Anda. Gambar berikut menunjukkan contoh pemetaan untuk variabel filterClause di editor Pemetaan Data pada tugas Pemetaan Data: menetapkan klausa filter di editor pemetaan data

Membuat koneksi menggunakan Terraform

Anda dapat menggunakan resource Terraform untuk membuat koneksi baru.

Untuk mempelajari cara menerapkan atau menghapus konfigurasi Terraform, lihat Perintah dasar Terraform.

Untuk melihat contoh template terraform untuk pembuatan koneksi, lihat contoh template.

Saat membuat koneksi ini menggunakan Terraform, Anda harus menetapkan variabel berikut dalam file konfigurasi Terraform:

Nama parameter Jenis data Wajib Deskripsi
file_retrieval_depth STRING Salah Tentukan tingkat kedalaman folder yang ingin Anda kueri dari tabel Root.
pasif BOOLEAN Salah Mengontrol apakah akan mengarahkan server ke mode pasif. Direkomendasikan jika berada di balik firewall.
remote_path STRING Salah Jalur saat ini di server FTP.
table_depth INTEGER Salah Tingkat kedalaman untuk menampilkan subfolder sebagai tampilan.
use_mlsd BOOLEAN Salah Menggunakan listingan untuk pemrosesan mesin. Hanya digunakan untuk server FTP.

Menggunakan koneksi FTP dalam integrasi

Setelah Anda membuat koneksi, koneksi tersebut akan tersedia di Apigee Integration dan Application Integration. Anda dapat menggunakan koneksi dalam integrasi melalui tugas Konektor.

  • Untuk memahami cara membuat dan menggunakan tugas Konektor di Apigee Integration, lihat Tugas konektor.
  • Untuk memahami cara membuat dan menggunakan tugas Konektor di Integrasi Aplikasi, lihat Tugas konektor.

Mendapatkan bantuan dari komunitas Google Cloud

Anda dapat memposting pertanyaan dan mendiskusikan konektor ini di komunitas Google Cloud di Forum Cloud.

Langkah berikutnya