Esta página foi traduzida pela API Cloud Translation.

Mover dados transcodificados localmente no mainframe para o Google Cloud
Mantenha tudo organizado com as coleções Salve e categorize o conteúdo com base nas suas preferências.

Esta página discute como transcodificar dados de mainframe localmente no mainframe para o formato ORC (Optimized Row Columnar) e, em seguida, mover o conteúdo para o BigQuery.

A transcodificação é o processo de conversão de informações de uma forma de representação codificada para outra, neste caso, para ORC. O ORC é um formato de dados orientado por colunas de código aberto muito usado no ecossistema do Apache Hadoop e compatível com o BigQuery.

O Mainframe Connector oferece duas maneiras de transcodificar dados de mainframe localmente.

Como usar os comandos qsam (versão 5.16.0 e mais recentes)
Como usar o comando gsutil cp

Vantagens dos comandos `qsam`

Os comandos qsam oferecem as seguintes vantagens:

Oferece suporte a tipos de dados compostos, incluindo a cláusula OCCURS (listas), a cláusula REDEFINES e registros aninhados. Para mais informações sobre esses tipos de dados, consulte a referência de transcodificação qsam.
Oferece suporte à configuração do processo de transcodificação por meio de um arquivo de configuração do transcodificador. Isso oferece mais flexibilidade ao decodificar dados para Google Cloude codificar os dados de volta para o mainframe.
Oferece suporte à criação de um conjunto de dados de extravasamento, que é uma tabela de erros de transcodificação que pode ser usada para inspeção de erros.

Antes de começar

Instale o conector de mainframe em qualquer conjunto de dados particionado por mainframe que você queira usar como uma biblioteca de procedimentos (PROCLIB).

Mover dados transcodificados localmente no mainframe para Google Cloud

Para transcodificar dados localmente em um mainframe e movê-los para o BigQuery, você precisa realizar as seguintes tarefas:

Leia e transcodifique um conjunto de dados em um mainframe e faça upload dele para o Cloud Storage no formato ORC. A transcodificação é feita durante as operações qsam decode ou gsutil cp (com base no comando escolhido), em que um dataset de código de troca decimal codificado em binário estendido (EBCDIC) do mainframe é convertido para o formato ORC em UTF-8 durante a cópia para um bucket do Cloud Storage.
Carregar o conjunto de dados em uma tabela do BigQuery.
(Opcional) Execute uma consulta SQL na tabela do BigQuery.
(Opcional) Exporte dados do BigQuery de volta para o mainframe.

As seções a seguir descrevem em detalhes como mover dados transcodificados localmente no mainframe para Google Cloud usando comandos qsam e o comando gsutil cp.

Transcodificar localmente usando comandos `qsam`

Para transcodificar os dados do mainframe localmente usando comandos qsam, siga estas etapas:

Crie um job para ler o conjunto de dados no mainframe e transcodificar para o formato ORC, conforme mostrado no comando a seguir. Leia os dados do conjunto de dados INFILE e o layout de registro do COPYBOOK DD. O conjunto de dados de entrada precisa ser um arquivo de método de acesso sequencial em fila (QSAM, na sigla em inglês) com comprimento de registro fixo ou variável.

É possível modificar o comportamento padrão do processo de transcodificação do Mainframe Connector fornecendo um arquivo de configuração do transcodificador usando o argumento --transcode-configuration.
```
//STEP01 EXEC BQSH
//INFILE DD DSN=<HLQ>.DATA.FILENAME,DISP=SHR
//COPYBOOK DD DISP=SHR,DSN=<HLQ>.COPYBOOK.CPY
//CONFIG DD DISP=SHR,DSN=<HLQ>.CONFIG.SETTINGS
//STDIN DD *
BUCKET=BUCKET_NAME
qsam decode --copybook dd:COPYBOOK --transcode-configuration dd:CONFIG dd:INFILE gs://$BUCKET/tablename
/*
```
Substitua BUCKET_NAME pelo nome do bucket do Cloud Storage para o qual você quer copiar os dados do mainframe.

Para evitar a especificação de variáveis, como IDs de projetos e nomes de bucket, em cada procedimento de linguagem de controle de jobs (JCL), adicione-as à PROCLIB do BQSH e faça referência a elas em vários procedimentos JCL como variáveis de ambiente. Essa abordagem também ajuda a fazer uma transição perfeita entre os ambientes de produção e não produção, já que as variáveis específicas do ambiente são definidas na PROCLIB BQSH do ambiente.

Neste exemplo, o DD DataPath é usado para especificar o caminho da configuração de copybook, entrada e transcodificação. Consulte DataPath para outras opções.

Se você quiser registrar os comandos executados durante esse processo, ative as estatísticas de carga.
Crie e envie um job de carregamento do BigQuery que carregue as partições de arquivo ORC de tablename.orc para MY_DATASET.MY_TABLE, conforme mostrado abaixo.
```
Example JCL
//STEP02 EXEC BQSH
//STDIN DD *
BUCKET=BUCKET_NAME
PROJECT=PROJECT_NAME
bq load --project_id=$PROJECT \
  myproject:MY_DATASET.MY_TABLE \
  gs://$BUCKET/tablename.orc/*
/*
```
Substitua:
- BUCKET_NAME: o nome do bucket do Cloud Storage que contém os arquivos ORC a serem carregados no BigQuery.
- PROJECT_NAME: o nome do projeto em que você quer executar a consulta.
(Opcional) Crie e envie um job de consulta do BigQuery que execute uma leitura SQL do arquivo QUERY DD. Normalmente, a consulta será uma instrução MERGE ou SELECT INTO DML que resulta na transformação de uma tabela do BigQuery. O conector de mainframe registra as métricas do job, mas não grava os resultados da consulta em um arquivo.

É possível consultar o BigQuery de várias maneiras: inline, com um conjunto de dados separado usando DD ou com um conjunto de dados separado usando DSN.
```
Example JCL
//STEP03 EXEC BQSH
//QUERY DD DSN=<HLQ>.QUERY.FILENAME,DISP=SHR
//STDIN DD *
PROJECT=PROJECT_NAME
LOCATION=LOCATION
bq query --project_id=$PROJECT \
--location=$LOCATION/*
/*
```
Substitua:
- PROJECT_NAME: o nome do projeto em que você quer executar a consulta.
- LOCATION: o local em que a consulta será executada. Recomendamos que você execute a consulta em um local próximo aos dados.
(Opcional) Crie e envie um job de exportação que execute uma leitura SQL do arquivo QUERY DD e exporte o conjunto de dados resultante para um mainframe como um arquivo binário.

É possível modificar o comportamento padrão do processo de transcodificação do Mainframe Connector fornecendo um arquivo de configuração do transcodificador usando o argumento --transcode-configuration.
```
//STEP04 EXEC BQSH
//OUTFILE DD DSN=<HLQ>.DATA.FILENAME,DISP=SHR
//COPYBOOK DD DISP=SHR,DSN=<HLQ>.COPYBOOK.CPY
//CONFIG DD DISP=SHR,DSN=<HLQ>.CONFIG.SETTINGS
//QUERY DD DSN=<HLQ>.QUERY.FILENAME,DISP=SHR
//STDIN DD *

PROJECT=PROJECT_NAME
qsam encode \
  dd:QUERY
  dd:OUTFILE
  --copybook dd:COPYBOOK
  --transcode-configuration dd:CONFIG
  --input-format=BIGQUERY \
  --input-parameter project_id=PROJECT_NAME \
  --input-parameter location=LOCATION/*
/*
```
Substitua:
- PROJECT_NAME: o nome do projeto em que você quer executar a consulta.
- LOCATION: o local em que a consulta será executada. Recomendamos que você execute a consulta em um local próximo aos dados.
Os dados são exportados para o conjunto de dados OUTFILE DD. O layout do registro é descrito pelo COPYBOOK DD. Para outras opções de caminhos de configuração de copybook, outfile e transcodificação, consulte DataPath.

Transcodificar localmente usando o comando `gsutil cp`

Para transcodificar os dados do mainframe localmente usando o comando gsutil cp, siga estas etapas:

Crie um job para ler o conjunto de dados no mainframe e transcodificar para o formato ORC, conforme mostrado no comando a seguir. Leia os dados do conjunto de dados INFILE e o layout de registro do COPYBOOK DD. O conjunto de dados de entrada precisa ser um arquivo de método de acesso sequencial em fila (QSAM, na sigla em inglês) com comprimento de registro fixo ou variável.
```
//STEP01 EXEC BQSH
//INFILE DD DSN=<HLQ>.DATA.FILENAME,DISP=SHR
//COPYBOOK DD DISP=SHR,DSN=<HLQ>.COPYBOOK.FILENAME
//STDIN DD *
BUCKET=BUCKET_NAME
gsutil cp --replace gs://$BUCKET/tablename.orc
/*
```
Substitua BUCKET_NAME pelo nome do bucket do Cloud Storage para o qual você quer copiar os dados do mainframe.

Observação: a partir da versão 5.12.0, o Mainframe Connector substitui hifen ("-") por sublinhados ("_") nos nomes das variáveis. Se você quiser manter os hifens nos nomes das variáveis, desative essa conversão automática definindo a variável do banco de dados BQSH_FEATURE_CONVERT_UNDERSCORE_IN_FIELDS_NAME como false.
Observação: variáveis com o sufixo FILLER são ignoradas durante o processo de importação.

Para evitar a especificação de variáveis, como IDs de projeto e nomes de bucket em cada procedimento JCL, adicione-as à PROCLIB do BQSH e faça referência a elas em várias procedimentos JCL como variáveis de ambiente. Essa abordagem também ajuda a fazer uma transição perfeita entre ambientes de produção e não produção, já que as variáveis específicas do ambiente são definidas na BQSH PROCLIB do ambiente. Para conferir a lista completa de variáveis de ambiente compatíveis com o Mainframe Connector, consulte Variáveis de ambiente.

Neste exemplo, a entrada padrão (STDIN) é fornecida como dados no stream para o STDIN DD. Como alternativa, você pode fornecer essa entrada usando um nome de fonte de dados (DSN, na sigla em inglês), o que facilita o gerenciamento da substituição de símbolos.

Se você quiser registrar os comandos executados durante esse processo, ative as estatísticas de carga.
Crie e envie um job de carregamento do BigQuery que carregue as partições de arquivo ORC de tablename.orc para MY_DATASET.MY_TABLE, conforme mostrado abaixo.
```
Example JCL
//STEP02 EXEC BQSH
//STDIN DD *
BUCKET=BUCKET_NAME
PROJECT=PROJECT_NAME
bq load --project_id=$PROJECT \
  myproject:MY_DATASET.MY_TABLE \
  gs://$BUCKET/tablename.orc/*
/*
```
Substitua:
- BUCKET_NAME: o nome do bucket do Cloud Storage que contém os arquivos ORC a serem carregados no BigQuery.
- PROJECT_NAME: o nome do projeto em que você quer executar a consulta.
(Opcional) Crie e envie um job de consulta do BigQuery que execute uma leitura SQL do arquivo QUERY DD. Normalmente, a consulta será uma instrução MERGE ou SELECT INTO DML que resulta na transformação de uma tabela do BigQuery. O conector de mainframe registra as métricas do job, mas não grava os resultados da consulta em um arquivo.

É possível consultar o BigQuery de várias maneiras: inline, com um conjunto de dados separado usando DD ou com um conjunto de dados separado usando DSN.
```
Example JCL
//STEP03 EXEC BQSH
//QUERY DD DSN=<HLQ>.QUERY.FILENAME,DISP=SHR
//STDIN DD *
PROJECT=PROJECT_NAME
LOCATION=LOCATION
bq query --project_id=$PROJECT \
--location=$LOCATION/*
/*
```
Substitua:
- PROJECT_NAME: o nome do projeto em que você quer executar a consulta.
- LOCATION: o local em que a consulta será executada. Recomendamos que você execute a consulta em um local próximo aos dados.
(Opcional) Crie e envie um job de exportação que execute uma leitura SQL do arquivo QUERY DD e exporte o conjunto de dados resultante para um mainframe como um arquivo binário.
```
Example JCL
//STEP04 EXEC BQSH
//OUTFILE DD DSN=<HLQ>.DATA.FILENAME,DISP=SHR
//COPYBOOK DD DISP=SHR,DSN=<HLQ>.COPYBOOK.FILENAME
//QUERY DD DSN=<HLQ>.QUERY.FILENAME,DISP=SHR
//STDIN DD *
PROJECT=PROJECT_NAME
DATASET_ID=DATASET_ID
DESTINATION_TABLE=DESTINATION_TABLE
bq export --project_id=$PROJECT \
  --dataset_id=$DATASET_ID \
  --destination_table=$DESTINATION_TABLE \
  --location="US" \
  --remoteHost <mainframe-connector-url>.a.run.app \
  --remotePort 443
/*
```
Substitua:
- PROJECT_NAME: o nome do projeto em que você quer executar a consulta.
- DATASET_ID: o ID do conjunto de dados do BigQuery que contém a tabela que você quer exportar.
- DESTINATION_TABLE: a tabela do BigQuery que você quer exportar.
Os dados são exportados para o conjunto de dados OUTFILE DD. O layout do registro é descrito pelo COPYBOOK DD.

Mover dados transcodificados localmente no mainframe para o Google Cloud Mantenha tudo organizado com as coleções Salve e categorize o conteúdo com base nas suas preferências.

Vantagens dos comandos qsam