HDFS

Konektor HDFS memungkinkan Anda melakukan tindakan penyisipan, penghapusan, pembaruan, dan pembacaan pada data HDFS.

Versi yang didukung

Konektor ini mendukung HDFS Hadoop versi 3.4.0.

Sebelum memulai

Sebelum menggunakan konektor HDFS, lakukan tugas berikut:

  • Di project Google Cloud Anda:
    • Berikan peran IAM roles/connectors.admin kepada pengguna yang mengonfigurasi konektor.
    • Berikan peran IAM berikut ke akun layanan yang ingin Anda gunakan untuk konektor:
      • roles/secretmanager.viewer
      • roles/secretmanager.secretAccessor

      Akun layanan adalah jenis Akun Google khusus yang dimaksudkan untuk mewakili pengguna non-manusia yang perlu diautentikasi dan diberi otorisasi untuk mengakses data di Google API. Jika Anda tidak memiliki akun layanan, Anda harus membuat akun layanan. Untuk mengetahui informasi selengkapnya, lihat Membuat akun layanan.

    • Aktifkan layanan berikut:
      • secretmanager.googleapis.com (Secret Manager API)
      • connectors.googleapis.com (Connectors API)

      Untuk memahami cara mengaktifkan layanan, lihat Mengaktifkan layanan.

    Jika layanan atau izin ini belum diaktifkan untuk project Anda sebelumnya, Anda akan diminta untuk mengaktifkannya saat mengonfigurasi konektor.

Mengonfigurasi konektor

Koneksi khusus untuk sumber data. Artinya, jika Anda memiliki banyak sumber data, Anda harus membuat koneksi terpisah untuk setiap sumber data. Untuk membuat koneksi, lakukan hal berikut:

  1. Di Konsol Cloud, buka halaman Integration Connectors > Connections lalu pilih atau buat project Google Cloud.

    Buka halaman Koneksi

  2. Klik + BUAT BARU untuk membuka halaman Buat Koneksi.
  3. Di bagian Location, pilih lokasi untuk koneksi.
    1. Wilayah: Pilih lokasi dari menu drop-down.

      Untuk mengetahui daftar semua region yang didukung, lihat Lokasi.

    2. Klik NEXT.
  4. Di bagian Detail Koneksi, selesaikan langkah-langkah berikut:
    1. Konektor: Pilih HDFS dari daftar drop-down Konektor yang tersedia.
    2. Versi konektor: Pilih versi Konektor dari daftar drop-down versi yang tersedia.
    3. Di kolom Connection Name, masukkan nama untuk instance Koneksi.

      Nama koneksi harus memenuhi kriteria berikut:

      • Nama koneksi dapat menggunakan huruf, angka, atau tanda hubung.
      • Huruf harus berupa huruf kecil.
      • Nama koneksi harus diawali dengan huruf dan diakhiri dengan huruf atau angka.
      • Nama koneksi tidak boleh melebihi 49 karakter.
    4. Secara opsional, masukkan Deskripsi untuk instance koneksi.
    5. Secara opsional, aktifkan Cloud Logging, lalu pilih level log. Secara default, level log ditetapkan ke Error.
    6. Akun Layanan: Pilih akun layanan yang memiliki peran yang diperlukan.
    7. Path: Tentukan jalur HDFS yang akan digunakan sebagai direktori kerja.
    8. Jika perlu, konfigurasikan Setelan node koneksi:

      • Jumlah minimum node: Masukkan jumlah minimum node koneksi.
      • Jumlah node maksimum: Masukkan jumlah maksimum node koneksi.

      Node adalah unit (atau replika) koneksi yang memproses transaksi. Jumlah node yang diperlukan untuk memproses lebih banyak transaksi untuk suatu koneksi akan bertambah dan sebaliknya, jumlah node yang diperlukan untuk memproses lebih sedikit transaksi akan berkurang. Untuk memahami pengaruh node terhadap harga konektor, lihat Harga untuk node koneksi. Jika Anda tidak memasukkan nilai apa pun, secara default node minimum ditetapkan ke 2 (untuk ketersediaan yang lebih baik) dan node maksimum ditetapkan ke 50.

    9. Secara opsional, klik + TAMBAHKAN LABEL untuk menambahkan label ke Koneksi dalam bentuk pasangan kunci/nilai.
    10. Klik NEXT.
  5. Di bagian Destinations, masukkan detail host jarak jauh (sistem backend) yang ingin Anda hubungkan.
    1. Jenis Tujuan: Pilih Jenis Tujuan.
      • Untuk menentukan nama host atau alamat IP tujuan, pilih Alamat host dan masukkan alamat di kolom Host 1.
      • Untuk membuat koneksi pribadi, pilih Endpoint attachment dan pilih lampiran yang diperlukan dari daftar Endpoint Attachment.

      Jika ingin membuat koneksi publik ke sistem backend dengan keamanan tambahan, Anda dapat mempertimbangkan mengonfigurasi alamat IP keluar statis untuk koneksi Anda, lalu mengonfigurasi aturan firewall untuk hanya mengizinkan alamat IP statis tertentu.

      Untuk memasukkan tujuan tambahan, klik +TAMBAHKAN TUJUAN.

    2. Klik NEXT.
  6. Di bagian Authentication, masukkan detail autentikasi.
    1. Pilih Jenis autentikasi dan masukkan detail yang relevan.

      Jenis autentikasi berikut didukung oleh koneksi HDFS:

      • Nama Pengguna dan Sandi

      Untuk memahami cara mengonfigurasi jenis autentikasi ini, lihat Mengonfigurasi autentikasi.

    2. Klik NEXT.
  7. Tinjau: Tinjau detail koneksi dan autentikasi Anda.
  8. Klik Buat.

Mengonfigurasi autentikasi

Masukkan detail berdasarkan autentikasi yang ingin Anda gunakan.

  • Nama Pengguna dan Sandi
    • Nama pengguna: Masukkan nama pengguna yang akan digunakan untuk koneksi HDFS.
    • Sandi : Masukkan secret manager secret yang berisi sandi yang terkait dengan nama pengguna.
    • Versi Secret: Pilih versi secret untuk secret yang dipilih di atas.

Contoh konfigurasi koneksi

Bagian ini mencantumkan contoh nilai untuk berbagai kolom yang Anda konfigurasi saat membuat koneksi.

Jenis koneksi nama pengguna dan sandi

Nama kolom Detail
Lokasi europe-west1
Konektor HDFS
Versi konektor 1
Nama Koneksi hdfs-v24-new
Akun Layanan my-service-account@my-project.iam.gserviceaccount.com
Jumlah minimum node 2
Jumlah maksimum node 2
Jenis Tujuan Alamat Host
Host 10.128.0.
port1 10000
Nama pengguna pengguna1
Sandi PASSWORD
Versi Secret 1

Batasan sistem

Konektor HDFS dapat memproses maksimum 20 transaksi per detik, per node, dan membatasi transaksi apa pun yang melebihi batas ini. Secara default, Integration Connectors mengalokasikan 2 node (untuk ketersediaan yang lebih baik) untuk koneksi.

Untuk mengetahui informasi tentang batas yang berlaku untuk Integration Connectors, lihat Batas.

Menggunakan koneksi HDFS dalam integrasi

Setelah Anda membuat koneksi, koneksi tersebut akan tersedia di Apigee Integration dan Application Integration. Anda dapat menggunakan koneksi dalam integrasi melalui tugas Konektor.

  • Untuk memahami cara membuat dan menggunakan tugas Konektor di Apigee Integration, lihat Tugas konektor.
  • Untuk memahami cara membuat dan menggunakan tugas Konektor di Integrasi Aplikasi, lihat Tugas konektor.

Tindakan

Bagian ini menunjukkan cara melakukan beberapa tindakan di konektor ini.

Tindakan MakeDirectory

Tindakan ini akan membuat direktori di jalur yang ditentukan.

Parameter input tindakan MakeDirectory

Nama parameter Jenis data Wajib Deskripsi
Izin String Salah Izin untuk membuat direktori baru.
Jalur String Benar Jalur direktori baru.

Untuk contoh tentang cara mengonfigurasi tindakan MakeDirectory, lihat Contoh.

Tindakan ListStatus

Tindakan ini mencantumkan isi jalur yang diberikan.

Parameter input tindakan ListStatus

Nama parameter Jenis data Wajib Deskripsi
Jalur String Benar Jalur file.

Untuk contoh tentang cara mengonfigurasi tindakan ListStatus, lihat Contoh.

Tindakan GetHomeDirectory

Tindakan ini mendapatkan direktori beranda pengguna saat ini.

Parameter input tindakan GetHomeDirectory

Nama parameter Jenis data Wajib Deskripsi
connectorInputPayload Json Benar Payload input konektor.

Untuk contoh tentang cara mengonfigurasi tindakan GetHomeDirectory, lihat Contoh.

Tindakan DeleteFile

Tindakan ini akan menghapus file atau direktori.

Parameter input tindakan DeleteFile

Nama parameter Jenis data Wajib Deskripsi
Jalur String Benar Jalur file.
Rekursif Boolean Salah Menentukan apakah akan menghapus subfolder dari sebuah folder.

Untuk contoh tentang cara mengonfigurasi tindakan DeleteFile, lihat Contoh.

Tindakan GetContentSummary

Tindakan ini mendapatkan ringkasan konten file atau folder.

Parameter input tindakan GetContentSummary

Nama parameter Jenis data Wajib Deskripsi
Jalur String Benar Jalur file atau folder.

Untuk contoh tentang cara mengonfigurasi tindakan GetContentSummary, lihat Contoh.

Tindakan RenameFile

Tindakan ini mengganti nama file atau direktori.

Parameter input tindakan RenameFile

Nama parameter Jenis data Wajib Deskripsi
jalur String Benar Jalur file.
tujuan String Benar Menentukan nama dan jalur baru file.

Untuk contoh tentang cara mengonfigurasi tindakan RenameFile, lihat Contoh.

Tindakan SetPermission

Tindakan ini menetapkan izin jalur.

Parameter input tindakan SetPermission

Nama Parameter Jenis Data Wajib Deskripsi
Jalur String Benar Jalur file.
Izin String Benar Menentukan izin Unix dalam notasi oktal (basis-8).

Untuk contoh tentang cara mengonfigurasi tindakan SetPermission, lihat Contoh.

Tindakan SetPermission

Tindakan ini menetapkan izin jalur.

Parameter input tindakan SetPermission

Nama parameter Jenis data Wajib Deskripsi
Jalur String Benar Jalur file.
Izin String Benar Menentukan izin Unix dalam notasi oktal (basis 8).

Untuk contoh tentang cara mengonfigurasi tindakan SetPermission, lihat Contoh.

Tindakan SetOwner

Tindakan ini menetapkan pemilik dan grup jalur.

Parameter input tindakan SetOwner

Nama parameter Jenis data Wajib Deskripsi
Jalur String Benar Jalur file.
Pemilik String Benar Pemilik baru jalur.
grup String Salah Nama grup baru.

Untuk contoh tentang cara mengonfigurasi tindakan SetOwner, lihat Contoh.

Tindakan UploadFile

Tindakan ini mengupload file.

Parameter input tindakan UploadFile

Nama parameter Jenis data Wajib Deskripsi
jalur String Benar Jalur file.
Konten String Benar Konten file yang diupload.

Untuk contoh tentang cara mengonfigurasi tindakan UploadFile, lihat Contoh.

Tindakan DownloadFile

Tindakan ini akan mendownload file.

Parameter input tindakan DownloadFile

Nama parameter Jenis data Wajib Deskripsi
jalur String Benar Jalur file.
WriteToFile String Salah Lokasi lokal file tempat output ditulis.

Untuk contoh tentang cara mengonfigurasi tindakan DownloadFile, lihat Contoh.

Tindakan AppendToFile

Tindakan ini menambahkan file.

Parameter input tindakan AppendToFile

Nama parameter Jenis data Wajib Deskripsi
jalur String Benar Jalur file.
Konten String Benar Konten yang akan ditambahkan ke file.

Untuk contoh tentang cara mengonfigurasi tindakan AppendToFile, lihat Contoh.

Tindakan GetFileChecksum

Tindakan ini akan mendapatkan checksum file.

Parameter input tindakan GetFileChecksum

Nama parameter Jenis data Wajib Deskripsi
jalur String Benar Jalur file.

Untuk contoh tentang cara mengonfigurasi tindakan GetFileChecksum, lihat Contoh.

Contoh tindakan

Bagian ini menunjukkan cara melakukan beberapa contoh tindakan di konektor ini.

Contoh - Membuat direktori

  1. Dalam dialog Configure connector task, klik Actions.
  2. Pilih tindakan MakeDirectory, lalu klik Selesai.
  3. Di bagian Pemetaan Data Open Data Mapping Editor, lalu masukkan nilai yang mirip dengan berikut di kolom Input: 
    {
  "Path": "/user/hduser"
}

    4. Jika tindakan berhasil, parameter respons connectorOutputPayload tugas konektor akan memiliki nilai yang mirip dengan berikut ini:

    [{
  "Success": true
}]

Contoh - Mendapatkan direktori beranda

  1. Dalam dialog Configure connector task, klik Actions.
  2. Pilih tindakan GetHomeDirectory, lalu klik Selesai.
  3. Di bagian Pemetaan Data Open Data Mapping Editor, lalu masukkan nilai yang mirip dengan berikut di kolom Input: 
      {}

    4. Jika tindakan berhasil, parameter respons connectorOutputPayload tugas konektor akan memiliki nilai yang mirip dengan berikut ini:

    [{
  "Path": "/user/hduser"
}]

Contoh - Menghapus file

  1. Dalam dialog Configure connector task, klik Actions.
  2. Pilih tindakan DeleteFile, lalu klik Selesai.
  3. Di bagian Pemetaan Data Open Data Mapping Editor, lalu masukkan nilai yang mirip dengan berikut di kolom Input: 
    {
  "Path": "/user/hduser/testFile"
}

    4. Jika tindakan berhasil, parameter respons connectorOutputPayload tugas konektor akan memiliki nilai yang mirip dengan berikut ini:

    [{
  "Success": true
}]

Contoh - Mencantumkan status file

  1. Dalam dialog Configure connector task, klik Actions.
  2. Pilih tindakan ListStatus, lalu klik Selesai.
  3. Di bagian Pemetaan Data Open Data Mapping Editor, lalu masukkan nilai yang mirip dengan berikut di kolom Input: 
    {
  "path": "/user/hduser/deletefile"
}

    4. Jika tindakan berhasil, parameter respons connectorOutputPayload tugas konektor akan memiliki nilai yang mirip dengan berikut ini:

    [{
  "fileId": 16471.0,
  "PathSuffix": "data.txt",
  "owner": "hduser",
  "group": "supergroup",
  "length": 38.0,
  "permission": "644",
  "replication": 1.0,
  "storagePolicy": 0.0,
  "childrenNum": 0.0,
  "blockSize": 1.34217728E8,
  "modificationTime": "2024-08-16 16:12:01.921",
  "accessTime": "2024-08-16 16:12:01.888",
  "type": "FILE"
}, {
  "fileId": 16469.0,
  "PathSuffix": "file2.txt",
  "owner": "hduser",
  "group": "supergroup",
  "length": 53.0,
  "permission": "644",
  "replication": 1.0,
  "storagePolicy": 0.0,
  "childrenNum": 0.0,
  "blockSize": 1.34217728E8,
  "modificationTime": "2024-08-16 16:12:01.762",
  "accessTime": "2024-08-16 16:12:01.447",
  "type": "FILE"
}]

Contoh - Mendapatkan ringkasan konten file

  1. Dalam dialog Configure connector task, klik Actions.
  2. Pilih tindakan GetContentSummary, lalu klik Selesai.
  3. Di bagian Pemetaan Data Open Data Mapping Editor, lalu masukkan nilai yang mirip dengan berikut di kolom Input: 
    {
  "Path": "/user/hduser/appendtofile"
}

    4. Jika tindakan berhasil, parameter respons connectorOutputPayload tugas konektor akan memiliki nilai yang mirip dengan berikut ini:

      [{
  "DirectoryCount": "1",
  "FileCount": "1",
  "Length": 52.0,
  "Quota": -1.0,
  "SpaceConsumed": 52.0,
  "SpaceQuota": -1.0,
  "ecpolicy": "",
  "snapshotdirectorycount": "0",
  "snapshotfilecount": "0",
  "snapshotlength": "0",
  "snapshotspaceconsumed": "0"
}]

Contoh - Mengganti nama file

  1. Dalam dialog Configure connector task, klik Actions.
  2. Pilih tindakan hdfs_RenameFile_action, lalu klik Selesai.
  3. Di bagian Pemetaan Data Open Data Mapping Editor, lalu masukkan nilai yang mirip dengan berikut di kolom Input: 
    {
  "Path": "/user/hduser/renamefile_second/file1.txt",
  "Destination": "/user/hduser/renamefile_second/file1rename"
}

    4. Jika tindakan berhasil, parameter respons connectorOutputPayload tugas konektor akan memiliki nilai yang mirip dengan berikut ini:

    [{
  "Success": true
}]

Contoh - Menetapkan izin file

  1. Dalam dialog Configure connector task, klik Actions.
  2. Pilih tindakan SetPermission, lalu klik Selesai.
  3. Di bagian Pemetaan Data Open Data Mapping Editor, lalu masukkan nilai yang mirip dengan berikut di kolom Input: 
    {
  "Path": "/user/hduser/gcpdirectory",
  "Permission": "777"
}

    4. Jika tindakan berhasil, parameter respons connectorOutputPayload tugas konektor akan memiliki nilai yang mirip dengan berikut ini:

    [{
  "Success": true
}]

Contoh - Menetapkan pemilik file

  1. Dalam dialog Configure connector task, klik Actions.
  2. Pilih tindakan SetOwner, lalu klik Selesai.
  3. Di bagian Pemetaan Data Open Data Mapping Editor, lalu masukkan nilai yang mirip dengan berikut di kolom Input: 
    {
  "Path": "/user/hduser/gcpdirectory",
  "Owner": "newowner"
}

    4. Jika tindakan berhasil, parameter respons connectorOutputPayload tugas konektor akan memiliki nilai yang mirip dengan berikut ini:

    [{
  "Success": true
}]

Contoh - Mengupload file

  1. Dalam dialog Configure connector task, klik Actions.
  2. Pilih tindakan UploadFile, lalu klik Selesai.
  3. Di bagian Pemetaan Data Open Data Mapping Editor, lalu masukkan nilai yang mirip dengan berikut di kolom Input: 
       { "Path": "/user/newfile9087.txt", "Content": "string" }

    4. Jika tindakan berhasil, parameter respons connectorOutputPayload tugas konektor akan memiliki nilai yang mirip dengan berikut ini:

    [{
  "Success": true
}]

Contoh - Mendownload file

  1. Dalam dialog Configure connector task, klik Actions.
  2. Pilih tindakan DownloadFile, lalu klik Selesai.
  3. Di bagian Pemetaan Data Open Data Mapping Editor, lalu masukkan nilai yang mirip dengan berikut di kolom Input: 
    { "Path": "/user/sampleFile/file1.txt" }

    4. Jika tindakan berhasil, parameter respons connectorOutputPayload tugas konektor akan memiliki nilai yang mirip dengan berikut ini:

    [ { "Output": "This is sample File\nfor this testing\ncontent" } ]

Contoh - Menambahkan file

  1. Dalam dialog Configure connector task, klik Actions.
  2. Pilih tindakan AppendToFile , lalu klik Selesai.
  3. Di bagian Pemetaan Data Open Data Mapping Editor, lalu masukkan nilai yang mirip dengan berikut di kolom Input: 
    { "Path": "/user/sampleFile/file1.txt", "Content": "content" }

    4. Jika tindakan berhasil, parameter respons connectorOutputPayload tugas konektor akan memiliki nilai yang mirip dengan berikut ini:

    [ { "Success": true } ]

Contoh - Mendapatkan checksum file

  1. Dalam dialog Configure connector task, klik Actions.
  2. Pilih tindakan GetFileChecksum , lalu klik Selesai.
  3. Di bagian Pemetaan Data Open Data Mapping Editor, lalu masukkan nilai yang mirip dengan berikut di kolom Input: 
    { "Path": "/user/sampleFile/file1.txt" }

    4. Jika tindakan berhasil, parameter respons connectorOutputPayload tugas konektor akan memiliki nilai yang mirip dengan berikut ini:

    [ { "Algorithm": "MD5-of-0MD5-of-512CRC32C", "Bytes": "00000200000000000000000080f5b53ae8c165ae56e86109b8bb2a1700000000", "Length": 28 } ]

Contoh operasi entity

Bagian ini menunjukkan cara melakukan beberapa operasi entitas di konektor ini.

Contoh - Mencantumkan data semua file

Contoh ini mengambil data semua file dalam entity Files.

  1. Dalam dialog Configure connector task, klik Entities.
  2. Pilih Object dari daftar Entity.
  3. Pilih operasi List, lalu klik Selesai.

Contoh - Mendapatkan data izin

Contoh ini mendapatkan data izin dengan ID yang ditentukan dari entity Permission.

  1. Dalam dialog Configure connector task, klik Entities.
  2. Pilih Permission dari daftar Entity.
  3. Pilih operasi Get, lalu klik Selesai.
  4. Di bagian Task Input pada tugas Connectors, klik EntityId, lalu masukkan /user/hduser/appendfile di kolom Default Value.

    Di sini, /user/hduser/appendfile adalah ID unik dalam entitas Permission.

Mendapatkan bantuan dari komunitas Google Cloud

Anda dapat memposting pertanyaan dan mendiskusikan konektor ini di komunitas Google Cloud di Forum Cloud.

Langkah berikutnya