Esta página descreve a arquitetura do conector de mainframe.
O Mainframe Connector geralmente é implantado como um aplicativo Java. Como o aplicativo é independente, você só precisa instalar o IBM JRE versão 8 ou mais recente para implantar o Mainframe Connector. Um procedimento de linguagem de controle de trabalho (JCL, na sigla em inglês) é o front-end que que pode ser usado para chamar o conector de mainframe. A imagem a seguir mostra Visão geral da arquitetura do conector de mainframe.
Ao fazer o upload de arquivos de dados para o Cloud Storage, O conector de mainframe se comunica diretamente com o API Cloud Storage usando: Processador de informações integrado (zIIP) da IBM Z ou processador geral (GP). Também é possível implantar um serviço remoto para transferir parte da computação para o Google Cloud.
Depois que um arquivo de dados é enviado para o Cloud Storage, o Mainframe Connector envia uma chamada de procedimento remoto (RPC) para o serviço gRPC, indicando o local do arquivo, o layout do registro e o local de saída. O serviço gRPC lê o arquivo do Cloud Storage, transcodifica os dados e grava um arquivo arquivo Optimized Row Columnar (ORC) ao Local de saída do Cloud Storage. O conector de mainframe se comunica diretamente com a API BigQuery para registrar o arquivo ORC como uma tabela externa ou carregar o arquivo ORC em uma tabela.
Como alternativa, é possível implantar um dispositivo de hardware no data center para transferir dados diretamente do sistema de armazenamento de mainframe para o Cloud Storage usando uma biblioteca de fitas virtual (VTL, na sigla em inglês). Essa abordagem não usa zIIP ou GP durante a transferência de dados para o Cloud Storage, porque o dispositivo de hardware recebe os dados diretamente do sistema de armazenamento de mainframe usando um VTL e não usa o mainframe. Isso libera o mainframe para tarefas essenciais.
Criptografia de dados
A IBM fornece uma implementação de Java Cryptography Extension (JCE) com a JVM chamada Java Cryptography Extension Common Cryptographic Architecture (IBMJCECCA), que usa o sistema de criptografia de hardware no IBM z/OS. O conexão de Transport Layer Security (TLS) entre a JVM e a API Google Cloud usam JCE e criptografia de hardware para proteger os dados durante a extração, operações de transformação e carregamento (ELT, na sigla em inglês).
Procedimento da JCL
Para usar procedimentos JCL, instale um intérprete de shell BQSH
nas bibliotecas de procedimentos (PROCLIB) do mainframe. Os dados do ambiente padrão (STDENV) no
o procedimento JCL é usado para definir variáveis de ambiente, argumentos JVM e
caminho de classe antes de iniciar o aplicativo Java. Procedimento de JCL
inicia a JVM e a classe principal com.google.cloud.bqsh.Bqsh usando
Acesso rápido da JVM IBM JVMLDM86.
Intérprete de shell do BQSH
A classe principal BQSH atua como um intérprete de shell. Ele lê a entrada de fluxo de uma procedura JCL, divide as linhas de entrada e tenta interpretar cada linha como um comando.
Aplicativo Java
O conector de mainframe usa bibliotecas de cliente do Cloud para Java, Apache ORC e outras bibliotecas de código aberto. Ela usa SDK JZOS reservado da IBM para interagir com o sistema de armazenamento IBM z/OS e ser executado na JVM no IBM z/OS. OpenJDK no Linux (link em inglês).