Halaman ini menjelaskan arsitektur Mainframe Connector.
Mainframe Connector biasanya di-deploy sebagai aplikasi Java. Karena aplikasi bersifat mandiri, Anda hanya perlu menginstal IBM JRE versi 8 atau IBM JRE versi 17 untuk men-deploy Mainframe Connector. Prosedur bahasa kontrol tugas (JCL) adalah frontend yang dapat Anda gunakan untuk memanggil Mainframe Connector. Gambar berikut memberikan ringkasan arsitektur Mainframe Connector.
Saat mengupload file data ke Cloud Storage, Mainframe Connector berkomunikasi langsung dengan Cloud Storage API menggunakan IBM z Integrated Information Processor (zIIP) atau prosesor umum (GP). Anda juga dapat men-deploy layanan jarak jauh untuk memindahkan sebagian komputasi ke Google Cloud.
Setelah file data diupload ke Cloud Storage, Mainframe Connector mengirimkan panggilan prosedur jarak jauh (RPC) ke layanan gRPC yang menunjukkan lokasi file, tata letak rekaman, dan lokasi output. Layanan gRPC membaca file dari Cloud Storage, mentranskode data, dan menulis file Optimized Row Columnar (ORC) multi-bagian ke lokasi output Cloud Storage. Mainframe Connector kemudian berkomunikasi langsung dengan BigQuery API untuk mendaftarkan file ORC sebagai tabel eksternal atau memuat file ORC ke dalam tabel.
Atau, Anda dapat men-deploy perangkat hardware di pusat data untuk mentransfer data langsung dari sistem penyimpanan mainframe ke Cloud Storage menggunakan library tape virtual (VTL). Pendekatan ini tidak menggunakan zIIP atau GP selama transfer data ke Cloud Storage karena perangkat hardware menerima data langsung dari sistem penyimpanan mainframe menggunakan VTL dan tidak menggunakan mainframe sama sekali. Hal ini membebaskan mainframe untuk tugas-tugas penting bisnis.
Enkripsi data
IBM menyediakan implementasi Java Cryptography Extension (JCE) dengan JVM yang disebut Java Cryptography Extension Common Cryptographic Architecture (IBMJCECCA) (Java 8 atau Java 17) yang menggunakan sistem kriptografi hardware di IBM z/OS. Koneksi transport layer security (TLS) antara JVM dan endpoint Google Cloud API menggunakan JCE dan kriptografi hardware untuk mengamankan data selama operasi ekstrak, transformasi, dan pemuatan (ELT).
Prosedur JCL
Untuk menggunakan prosedur JCL, Anda harus menginstal interpreter shell BQSH
di library prosedur (PROCLIB) mainframe Anda. Data lingkungan standar (STDENV) dalam
prosedur JCL digunakan untuk menetapkan variabel lingkungan, argumen JVM, dan classpath Java
sebelum meluncurkan aplikasi Java. Prosedur JCL
meluncurkan JVM dan class utama com.google.cloud.bqsh.Bqsh menggunakan
peluncur JVMIBM JVMLDM86.
Interpreter shell BQSH
Class utama BQSH bertindak sebagai interpreter shell. Tindakan ini membaca input streaming dari prosedur JCL, memisahkan baris input, dan mencoba menafsirkan setiap baris sebagai perintah.
Aplikasi Java
Mainframe Connector menggunakan Java Cloud Client Libraries, Apache ORC, dan library open source lainnya. Menggunakan JZOS SDK eksklusif IBM untuk berinteraksi dengan sistem penyimpanan IBM z/OS dan berjalan di JVM di IBM z/OS dan OpenJDK di Linux.