Azure Data Lake Storage
Com o conector do Azure Data Lake Storage, você se conecta ao Azure Data Lake Storage e usa o SQL para recuperar e atualizar os dados do Azure Data Lake Storage.
Antes de começar
Antes de usar o conector do Azure Data Lake Storage, faça o seguinte:
- No seu projeto do Google Cloud, faça o seguinte:
- Verifique se a conectividade de rede está configurada. Para informações sobre padrões de rede, consulte Conectividade de rede.
- Conceda o papel do IAM roles/connectors.admin ao usuário que está configurando o conector.
- Conceda os seguintes papéis de IAM à conta de serviço que você quer usar para o conector:
roles/secretmanager.viewer
roles/secretmanager.secretAccessor
Uma conta de serviço é um tipo especial de Conta do Google destinada a representar um usuário não humano que precisa ser autenticado e autorizado a acessar dados nas APIs do Google. Se você não tiver uma conta de serviço, será necessário criar uma. O conector e a conta de serviço precisam pertencer ao mesmo projeto. Para mais informações, consulte Como criar uma conta de serviço.
- Ative os seguintes serviços:
secretmanager.googleapis.com
(API Secret Manager)connectors.googleapis.com
(API Connectors)
Para entender como ativar os serviços, consulte Como ativar serviços.
Se esses serviços ou permissões não tiverem sido ativados no seu projeto, você precisará ativá-los ao configurar o conector.
- Para informações sobre como criar uma conta de armazenamento do Azure, consulte Criar uma conta de armazenamento. Para informações sobre como criar um contêiner no Azure, consulte Criar um contêiner. Para informações sobre como criar um diretório no Azure, consulte Criar um diretório.
Configurar o conector
Uma conexão é específica a uma fonte de dados. Isso significa que, se você tiver muitas fontes de dados, precisará criar uma conexão separada para cada uma. Para criar uma conexão, faça o seguinte:
- No console do Cloud, acesse a página Integration Connectors > Conexões e selecione ou crie um projeto do Google Cloud.
- Clique em + Criar novo para abrir a página Criar conexão.
- Na seção Local, escolha o local da conexão.
- Região: selecione um local na lista suspensa.
Veja abaixo as regiões compatíveis com o conector:
Para conferir a lista de todas as regiões com suporte, consulte Locais.
- Clique em Próxima.
- Região: selecione um local na lista suspensa.
- Na seção Detalhes da conexão, faça o seguinte:
- Conector: selecione Azure Data Lake Storage na lista suspensa de conectores disponíveis.
- Versão do conector: selecione a versão do conector na lista suspensa de versões disponíveis.
- No campo Nome da conexão, insira um nome para a instância de conexão
Os nomes de conexão precisam atender aos seguintes critérios:
- Os nomes de conexões podem usar letras, números ou hifens.
- As letras precisam ser minúsculas.
- Os nomes das conexões precisam começar com uma letra e terminar com uma letra ou um número.
- Os nomes das conexões não podem exceder 49 caracteres.
- Como opção, insira uma Descrição para a instância de conexão.
- Se quiser, ative o Cloud Logging e selecione um nível de registro. Por padrão, o nível de registro é definido como
Error
. - Conta de serviço: selecione uma conta de serviço que tenha os papéis necessários.
- Opcionalmente, defina as Configurações do nó de conexão:
- Número mínimo de nós: digite o número mínimo de nós de conexão.
- Número máximo de nós: digite o número máximo de nós de conexão.
Um nó é uma unidade (ou réplica) de uma conexão que processa transações. Mais nós são necessários para processar mais transações para uma conexão e, por outro lado, menos nós são necessários para processar menos transações. Para entender como os nós afetam os preços do conector, consulte Preços dos nós de conexão. Se você não inserir qualquer valor, por padrão, os nós mínimos serão definidos como 2 (para melhor disponibilidade) e os nós máximos serão definidos como 50.
- Conta: especifica o nome da conta do Azure Data Lake Storage.
- Diretório: especifica o caminho raiz para listar arquivos e pastas.
- Sistema de arquivos: especifica o nome do FileSystem que será usado em uma conta de armazenamento da geração 2. Por exemplo, o nome do seu contêiner de blobs do Azure.
- Tamanho do bloco: o tamanho dos blocos (em MB) a serem usados ao fazer upload de arquivos grandes.
- Incluir subdiretórios: escolha se os caminhos dos subdiretórios devem ser listados na visualização "Recursos" no esquema ADLSGen2.
- Outra opção é clicar em + Adicionar rótulo para adicionar um rótulo à conexão na forma de um par de chave-valor.
- Clique em Próxima.
-
Na seção Autenticação, insira os detalhes da autenticação.
- Selecione um Tipo de autenticação e insira os detalhes relevantes.
A conexão do Azure Data Lake Storage aceita os seguintes tipos de autenticação:
- Assinatura de acesso compartilhado
- Chave de acesso à conta
- Autenticação JWT
- Clique em Next.
Para entender como configurar esses tipos de autenticação, consulte Configurar autenticação.
- Selecione um Tipo de autenticação e insira os detalhes relevantes.
- Revisão: revise os detalhes de conexão e autenticação.
- Clique em Criar.
Configurar a autenticação
Digite os detalhes com base na autenticação que você quer usar.
-
Assinatura de acesso compartilhado
- Assinatura de acesso compartilhado: o Secret do Secret Manager que contém a assinatura de acesso compartilhado.
-
Chave de acesso à conta
- Chave de acesso da conta: o secret do Secret Manager que contém a chave de acesso da conta.
-
Autenticação JWT
- ID do cliente: o ID do cliente usado para solicitar tokens de acesso.
- Chave privada: o secret do Secret Manager que contém o conteúdo do arquivo da chave privada no formato PEM. A chave privada precisa corresponder à chave pública/certificado.
- Senha da chave privada: o secret do Secret Manager que contém a senha (parafraseada) do arquivo da chave privada.
Exemplos de configuração de conexão
Esta seção lista os valores de exemplo para os vários campos que você configura ao criar a conexão do Azure Data Lake Storage.
Tipo de conexão de assinatura de acesso compartilhado
Nome do campo | Detalhes |
---|---|
Local | us-central1 |
Conector | azuredatalakestorage |
Versão do conector | 1 |
Nome da conexão | adls-gen2-conn-public |
Ativar Cloud Logging | Sim |
Conta de serviço | account@my-project.iam.gserviceaccount.com |
Conta | google-cloud-dslgen3 |
Diretório | diretório |
Sistema de arquivos | contêiner |
Incluir subdiretórios | Não |
Número mínimo de nós | 2 |
Número máximo de nós | 50 |
Assinatura de acesso compartilhado | SHARED_ACCESS_SIGNATURE |
Versão do secret | 1 |
Tipo de conexão de chave de acesso à conta
Nome do campo | Detalhes |
---|---|
Local | us-central1 |
Conector | azuredatalakestorage |
Versão do conector | 1 |
Nome da conexão | azure-data-lake-conn |
Ativar Cloud Logging | Sim |
Conta de serviço | account@my-project.iam.gserviceaccount.com |
Conta | google-cloud-dslgen3 |
Diretório | north-america |
Sistema de arquivos | contêiner |
Incluir subdiretórios | Não |
Número mínimo de nós | 2 |
Número máximo de nós | 50 |
Chave de acesso à conta | ACCOUNT_ACCESS_KEY |
Versão do secret | 1 |
Tipo de conexão de autenticação JWT
Nome do campo | Detalhes |
---|---|
Local | us-central1 |
Conector | azuredatalakestorage |
Versão do conector | 1 |
Nome da conexão | adls-gen2-jwt-conn |
Ativar Cloud Logging | Sim |
Conta de serviço | account@my-project.iam.gserviceaccount.com |
Conta | your-adls-account-name |
Diretório | north-america |
Sistema de arquivos | data-lake-container |
Incluir subdiretórios | Sim |
Número mínimo de nós | 2 |
Número máximo de nós | 50 |
Tipo de autenticação | Autenticação JWT |
ID do cliente | CLIENT_ID |
Chave privada | PRIVATE_KEY_SECRET |
Senha da chave privada | PRIVATE_KEY_PASSWORD_SECRET |
Versão do secret (para chave privada) | 1 |
Versão do secret (para senha de chave privada) | 1 |
Entidades, operações e ações
Todos os Integration Connectors fornecem uma camada de abstração para os objetos do aplicativo conectado. Só é possível acessar os objetos de um aplicativo por esta abstração. A abstração é exposta a você como entidades, operações e ações.
- Entidade: uma entidade pode ser considerada um objeto ou um conjunto de propriedades no aplicativo ou serviço conectado. A definição de uma entidade difere de um conector para
outro. Por exemplo, em um conector de banco de dados, as tabelas são as entidades, em um conector de servidor de arquivos, as pastas são as entidades e, em um conector de sistema de mensagens, as filas são as entidades.
No entanto, é possível que um conector não aceite ou não tenha entidades. Nesse caso, a lista
Entities
estará vazia. - Operação: uma operação é a atividade que pode ser realizada em uma entidade. É possível executar
qualquer uma das seguintes operações em uma entidade:
Selecionar uma entidade na lista disponível gera uma lista de operações disponíveis para ela. Para uma descrição detalhada das operações, consulte as operações de entidades da tarefa "Conectores". No entanto, se um conector não for compatível com nenhuma das operações de entidade, essas operações não serão listadas na lista
Operations
. - Ação: uma ação é uma função de primeira classe disponibilizada para a integração por meio da interface do conector. Uma ação permite fazer alterações em uma ou mais entidades e varia de um conector para outro. Normalmente, uma ação tem alguns parâmetros de entrada e um parâmetro de saída. No entanto, é possível que o conector não ofereça suporte a nenhuma ação. Nesse caso, a lista
Actions
estará vazia.
Limitações do sistema
O conector do Azure Data Lake Storage pode processar cinco transações por segundo, por nó, e limita qualquer transação além desse limite. Por padrão, o Integration Connectors aloca dois nós (para melhor disponibilidade) para uma conexão.
Para informações sobre os limites aplicáveis aos Integration Connectors, consulte Limites.
Ações
Esta seção lista as ações compatíveis com o conector. Para entender como configurar as ações, consulte Exemplos de ações.
Ação DownloadFile
Essa ação permite baixar o conteúdo de um blob específico de um diretório ou contêiner.
Parâmetros de entrada da ação DownloadFile
Nome do parâmetro | Tipo de dados | Obrigatório | Descrição |
---|---|---|---|
Caminho | String | Sim | O caminho do arquivo (incluindo o nome) a ser baixado. Exemplo:
|
HasBytes | Booleano | Não | Define se o download do conteúdo será feito em bytes (formato Base64).
false .
|
Parâmetros de saída da ação DownloadFile
Se a ação for bem-sucedida, ela vai retornar o conteúdo do arquivo ou do blob.
Para ver exemplos de como configurar a ação DownloadFile
,
consulte Exemplos de ações.
Ação CreateFile
Com essa ação, é possível criar um blob ou um arquivo em um contêiner ou diretório.
Parâmetros de entrada da ação CreateFile
Nome do parâmetro | Tipo de dados | Obrigatório | Descrição |
---|---|---|---|
Caminho | String | Sim | O caminho do arquivo a ser criado. |
Para ver um exemplo de como configurar a ação CreateFile
,
consulte Exemplos de ações.
Ação CopyFile
Com essa ação, é possível copiar o conteúdo de um arquivo ou blob para outro arquivo ou blob no mesmo contêiner ou diretório.
Parâmetros de entrada da ação CopyFile
Nome do parâmetro | Tipo de dados | Obrigatório | Descrição |
---|---|---|---|
Caminho de origem | String | Sim | O caminho do arquivo que será copiado. |
DestinationPath | String | Sim | O caminho do arquivo em que ele será copiado. |
Para ver um exemplo de como configurar a ação CopyFile
,
consulte Exemplos de ações.
Ação DeleteObject
Essa ação permite excluir um arquivo ou blob.
Parâmetros de entrada da ação DeleteObject
Nome do parâmetro | Tipo de dados | Obrigatório | Descrição |
---|---|---|---|
Recursivo | String | Não | Defina como true para excluir todo o conteúdo da pasta, incluindo subpastas. |
Caminho | String | Sim | O caminho do arquivo ou da pasta a ser excluída. |
DeleteType | String | Sim |
|
Para ver exemplos de como configurar a ação DeleteObject
,
consulte Exemplos de ações.
Ação LeaseBlob
Essa ação permite criar e gerenciar um bloqueio em um blob.
Parâmetros de entrada da ação LeaseBlob
Nome do parâmetro | Tipo de dados | Obrigatório | Descrição |
---|---|---|---|
Caminho | String | Sim | O caminho do arquivo. |
LeaseAction | String | Sim | Especifica a ação de concessão a ser executada. |
LeaseDuration | Número inteiro | Sim | Especifica a duração do contrato. |
Para ver um exemplo de como configurar a ação LeaseBlob
,
consulte Exemplos de ações.
Ação UploadFile
Essa ação permite que os usuários façam upload do conteúdo para um blob ou contêiner específico.
Parâmetros de entrada da ação UploadFile
Nome do parâmetro | Tipo de dados | Obrigatório | Descrição |
---|---|---|---|
Caminho | String | Sim | O caminho do arquivo a ser enviado. |
HasBytes | Booleano | Não | Define se o upload de conteúdo será feito como bytes. |
Conteúdo | String | Sim | Conteúdo a ser enviado. |
Para ver um exemplo de como configurar a ação UploadFile
,
consulte Exemplos de ações.
Ação RenameObject
Essa ação permite renomear um arquivo ou uma pasta.
Parâmetros de entrada da ação RenameObject
Nome do parâmetro | Tipo de dados | Obrigatório | Descrição |
---|---|---|---|
Caminho | String | Sim | O caminho que será renomeado. |
RenameTo | String | Sim | O novo nome do arquivo ou da pasta. |
Para ver um exemplo de como configurar a ação RenameObject
,
consulte Exemplos de ações.
Exemplos de ações
Exemplo: fazer o download de um arquivo
Este exemplo faz o download de um arquivo binário.
- Na caixa de diálogo
Configure connector task
, clique emActions
. - Selecione a ação
DownloadFile
e clique em Concluído. - Na seção Entrada da tarefa da tarefa Connectors, clique em
connectorInputPayload
e insira um valor semelhante ao seguinte no campoDefault Value
:{ "Path": "testdirectory1/test1.pdf", "HasBytes": true }
Se a ação for bem-sucedida, o parâmetro de resposta connectorOutputPayload
da
tarefa DownloadFile
terá um valor semelhante a este:
[{ "Success": "True", "ContentBytes": "UEsDBBQABgAIAAAAIQCj77sdZQEAAFIFAAATAAgCW0NvbnRlbnRfVHlwZXNdLnhtbCCiBAIooA" }]
Exemplo: fazer upload de um arquivo
Este exemplo faz upload de conteúdo como um blob.
- Na caixa de diálogo
Configure connector task
, clique emActions
. - Selecione a ação
UploadFile
e clique em Concluído. - Na seção Entrada da tarefa da tarefa Connectors, clique em
connectorInputPayload
e insira um valor semelhante ao seguinte no campoDefault Value
:{ "Path": "testblob4", "HasBytes": true, "Content": "abcdef\nabcdef" }
Se a ação for bem-sucedida, o parâmetro de resposta connectorOutputPayload
da
tarefa UploadFile
terá um valor semelhante a este:
[{ "Success": "true" }]
Exemplo: criar um arquivo
Este exemplo cria um arquivo no diretório especificado.
- Na caixa de diálogo
Configure connector task
, clique emActions
. - Selecione a ação
CreateFile
e clique em Concluído. - Na seção Entrada da tarefa da tarefa Connectors, clique em
connectorInputPayload
e insira um valor semelhante ao seguinte no campoDefault Value
:{ "path": "testdirectory1/testblob" }
Se a ação for bem-sucedida, o parâmetro de resposta connectorOutputPayload
da
tarefa CreateFile
terá um valor semelhante a este:
[{ "Success": "true" }]
Exemplo: copiar um arquivo
Este exemplo copia um arquivo de um local para outro.
- Na caixa de diálogo
Configure connector task
, clique emActions
. - Selecione a ação
CopyFile
e clique em Concluído. - Na seção Entrada da tarefa da tarefa Connectors, clique em
connectorInputPayload
e insira um valor semelhante ao seguinte no campoDefault Value
:{ "SourcePath": "testdirectory1/testblob", "DestinationPath": "testblob" }
Se a ação for bem-sucedida, o parâmetro de resposta connectorOutputPayload
da
tarefa CopyFile
terá um valor semelhante a este:
[{ "Success": "true" }]
Exemplo: excluir um blob
Este exemplo exclui o blob especificado.
- Na caixa de diálogo
Configure connector task
, clique emActions
. - Selecione a ação
DeleteObject
e clique em Concluído. - Na seção Entrada da tarefa da tarefa Connectors, clique em
connectorInputPayload
e insira um valor semelhante ao seguinte no campoDefault Value
:{ "path": "testdirectory1/testblob" }
Se a ação for bem-sucedida, o parâmetro de resposta connectorOutputPayload
da
tarefa DeleteObject
terá um valor semelhante a este:
[{ "Success": "true" }]
Exemplo: concessão de um blob
Este exemplo concede um lease no blob especificado.
- Na caixa de diálogo
Configure connector task
, clique emActions
. - Selecione a ação
LeaseBlob
e clique em Concluído. - Na seção Entrada da tarefa da tarefa Connectors, clique em
connectorInputPayload
e insira um valor semelhante ao seguinte no campoDefault Value
:{ "Path": "testblob2", "LeaseAction": "Acquire", "LeaseDuration": 60.0 }
Se a ação for bem-sucedida, o parâmetro de resposta connectorOutputPayload
da
tarefa LeaseBlob
terá um valor semelhante a este:
[{ "LeaseId": "7aae9ca2-f015-41b6-9bdf-5fd3401fc493", "Success": "true" }]
Exemplo: renomear um blob
Este exemplo renomeia um blob.
- Na caixa de diálogo
Configure connector task
, clique emActions
. - Selecione a ação
RenameObject
e clique em Concluído. - Na seção Entrada da tarefa da tarefa Connectors, clique em
connectorInputPayload
e insira um valor semelhante ao seguinte no campoDefault Value
:{ "Path": "testblob", "RenameTo": "testblob6" }
Se a ação for bem-sucedida, o parâmetro de resposta connectorOutputPayload
da
tarefa RenameObject
terá um valor semelhante a este:
[{ "Success": true }]
Exemplos de operações de entidade
Nesta seção, mostramos como realizar algumas das operações de entidade neste conector.
Exemplo: listar todos os registros
Este exemplo lista todos os registros na entidade Resource
.
- Na caixa de diálogo
Configure connector task
, clique emEntities
. - Selecione
Resource
na listaEntity
. - Selecione a operação
List
e clique em Concluído. - Se quiser, na seção Entrada de tarefa da tarefa Conectores, é possível filtrar o conjunto de resultados especificando uma cláusula de filtro. Sempre especifique o valor da cláusula de filtro entre aspas simples (').
Exemplo: receber um registro
Este exemplo recebe um registro com o ID especificado da entidade Resource
.
- Na caixa de diálogo
Configure connector task
, clique emEntities
. - Selecione
Resource
na listaEntity
. - Selecione a operação
Get
e clique em Concluído. - Na seção Entrada da tarefa da tarefa Conectores, clique em EntityId e
insira
testdirectory1/testblob1
no campo Valor padrão.Aqui,
testdirectory1/testblob1
é um ID de registro exclusivo na entidadeResource
.
Usar a conexão do Azure Data Lake Storage em uma integração
Depois de criar a conexão, ela fica disponível na integração da Apigee e Application Integration. É possível usar a conexão em uma integração pela tarefa de conectores.
- Para entender como criar e usar a tarefa "Conectores" na integração da Apigee, consulte Tarefa "Conectores".
- Para entender como criar e usar a tarefa "Conectores" na Application Integration, consulte Tarefa "Conectores".
Receber ajuda da comunidade do Google Cloud
Poste suas dúvidas e converse sobre esse conector na comunidade do Google Cloud em Fóruns do Cloud.A seguir
- Entenda como suspender e retomar uma conexão.
- Entenda como monitorar o uso do conector.
- Saiba como ver os registros do conector.