Amazon S3

O conector do Amazon S3 fornece acesso SQL aos buckets e objetos do Amazon S3.

Antes de começar

Antes de usar o conector do Amazon S3, faça o seguinte:

  • No seu projeto do Google Cloud, faça o seguinte:
    • Conceder o papel do IAM roles/connectors.admin ao usuário e configurar o conector.
    • Conceda os seguintes papéis de IAM à conta de serviço que você quer usar para o conector:
      • roles/secretmanager.viewer
      • roles/secretmanager.secretAccessor

      Uma conta de serviço é um tipo especial de Conta do Google destinada a representar um usuário não humano que precisa ser autenticado e autorizado a acessar dados nas APIs do Google. Se você não tiver uma conta de serviço, será necessário criar uma. Para mais informações, consulte Como criar uma conta de serviço.

    • Ative os seguintes serviços:
      • secretmanager.googleapis.com (API Secret Manager)
      • connectors.googleapis.com (API Connectors)

      Para entender como ativar os serviços, consulte Como ativar serviços.

    Se esses serviços ou permissões não tiverem sido ativados no seu projeto, você precisará ativá-los ao configurar o conector.

Configurar o conector

Para configurar o conector, crie uma conexão com a fonte de dados (sistema de back-end). Uma conexão é específica a uma fonte de dados. Isso significa que, se você tiver muitas fontes de dados, precisará criar uma conexão separada para cada uma. Para criar uma conexão, siga estas etapas:

  1. No console do Cloud, acesse a página Integration Connectors > Conexões e selecione ou crie um projeto do Google Cloud.

    Acessar a página "Conexões"

  2. Clique em + Criar novo para abrir a página Criar conexão.
  3. Na seção Local, escolha o local da conexão.
    1. Região: selecione um local na lista suspensa.

      Veja abaixo as regiões compatíveis com o conector:

      Para conferir a lista de todas as regiões com suporte, consulte Locais.

    2. Clique em Próxima.
  4. Na seção Detalhes da conexão, faça o seguinte:
    1. Conector: selecione Amazon S3 na lista suspensa de conectores disponíveis.
    2. Versão do conector: selecione a versão do conector na lista suspensa de versões disponíveis.
    3. No campo Nome da conexão, insira um nome para a instância de conexão

      Os nomes de conexão precisam atender aos seguintes critérios:

      • Os nomes de conexões podem usar letras, números ou hifens.
      • As letras precisam ser minúsculas.
      • Os nomes das conexões precisam começar com uma letra e terminar com uma letra ou um número.
      • Os nomes das conexões não podem ter mais de 49 caracteres.
    4. Como opção, insira uma Descrição para a instância de conexão.
    5. Como opção, ative o Cloud Logging e selecione um nível de registro. Por padrão, o nível de registro é definido como Error.
    6. Conta de serviço: selecione uma conta de serviço que tenha os papéis necessários.
    7. Opcionalmente, defina as Configurações do nó de conexão:

      • Número mínimo de nós: digite o número mínimo de nós de conexão.
      • Número máximo de nós: digite o número máximo de nós de conexão.

      Um nó é uma unidade (ou réplica) de uma conexão que processa transações. Mais nós são necessários para processar mais transações para uma conexão e, por outro lado, menos nós são necessários para processar menos transações. Para entender como os nós afetam os preços do conector, consulte Preços dos nós de conexão. Se você não inserir qualquer valor, por padrão, os nós mínimos serão definidos como 2 (para melhor disponibilidade) e os nós máximos serão definidos como 50.

    8. Região da AWS: região onde a instância do Amazon S3 está hospedada
    9. Outra opção é clicar em + Adicionar rótulo para adicionar um rótulo à conexão na forma de um par de chave-valor.
    10. Clique em Próxima.
  5. Na seção Destinos, insira os detalhes do host remoto (sistema de back-end) ao qual você quer se conectar.
    1. Tipo de destino: selecione um Tipo de destino.
      • Selecione Endereço do host na lista para especificar o nome do host ou o endereço IP do destino.
      • Para estabelecer uma conexão particular com seus sistemas de back-end, Selecione Anexo de endpoint na lista e depois selecione o anexo de endpoint necessário. na lista Endpoint Attachment.

      Para estabelecer uma conexão pública com os sistemas de back-end com mais segurança, considere configurar endereços IP de saída estáticos para suas conexões e configure as regras de firewall para autorizar apenas os endereços IP estáticos específicos.

      Para inserir outros destinos, clique em +Adicionar destino.

    2. Clique em Próxima.
  6. Na seção Autenticação, insira os detalhes da autenticação.
    1. Selecione um Tipo de autenticação e insira os detalhes relevantes.

      A conexão do Amazon S3 oferece suporte aos seguintes tipos de autenticação:

      • Credenciais raiz
      • Papéis do IAM da AWS
      • Credenciais temporárias da AWS
    2. Para entender como configurar esses tipos de autenticação, consulte Configurar autenticação.

    3. Clique em Next.
  7. Revisão: revise os detalhes de conexão e autenticação.
  8. Clique em Criar.

Configurar a autenticação

Digite os detalhes com base na autenticação que você quer usar.

  • credenciais de raiz

    Para autenticar usando credenciais raiz da conta.

    • Chave de acesso da AWS: é a chave de acesso do usuário raiz.
    • AWS Access Secret: a chave secreta do usuário raiz
  • Papéis do AWS IAM

    Para fazer a autenticação usando um papel do IAM da AWS.

    • Chave de acesso da AWS: a chave de acesso do usuário do IAM para assumir o papel.
    • AWS Access Secret: a chave secreta do usuário do IAM que vai assumir o papel.
    • ARN do papel da AWS: especifique o ARN do papel com que você quer fazer a autenticação. Somente as credenciais do papel especificado seriam recuperadas.
    • ID externo da AWS: obrigatório somente quando você assumir um papel em outra conta.
  • Credenciais temporárias da AWS

    Para autenticar usando credenciais temporárias

    • Chave de acesso da AWS: a chave de acesso do usuário do IAM para assumir o papel de
    • Secret de acesso da AWS: a chave secreta do usuário do IAM para assumir o papel do
    • AWS Session Token: gerado junto com as credenciais temporárias.
    • ARN do papel da AWS: especifique o ARN do papel para o papel com que você quer fazer a autenticação. Somente as credenciais do papel especificado seriam recuperadas.
    • ID externo da AWS: obrigatório somente quando você assumir um papel em outra conta.

Entidades, operações e ações

Todos os Integration Connectors fornecem uma camada de abstração para os objetos do aplicativo conectado. Só é possível acessar os objetos de um aplicativo por esta abstração. A abstração é exposta a você como entidades, operações e ações.

  • Entidade: uma entidade pode ser considerada um objeto ou um conjunto de propriedades no aplicativo ou serviço conectado. A definição de uma entidade difere de um conector para outro. Por exemplo, em um conector de banco de dados, as tabelas são as entidades, em um conector de servidor de arquivos, as pastas são as entidades e, em um conector de sistema de mensagens, as filas são as entidades.

    No entanto, é possível que um conector não aceite ou não tenha entidades. Nesse caso, a lista Entities estará vazia.

  • Operação: uma operação é a atividade que pode ser realizada em uma entidade. É possível executar qualquer uma das seguintes operações em uma entidade:

    Selecionar uma entidade na lista disponível gera uma lista de operações disponíveis para ela. Para uma descrição detalhada das operações, consulte as operações de entidades da tarefa "Conectores". No entanto, se um conector não oferecer suporte a nenhuma das operações de entidade, essas operações sem suporte não serão listadas na lista Operations.

  • Ação: uma ação é uma função de primeira classe disponibilizada para a integração por meio da interface do conector. Uma ação permite fazer alterações em uma ou mais entidades e varia de um conector para outro. Normalmente, uma ação tem alguns parâmetros de entrada, . No entanto, é possível que o conector não ofereça suporte a nenhuma ação. Nesse caso, a lista Actions estará vazia.

Ações

Esta seção lista algumas das ações aceitas pelo conector. Para saber como configurar ações, consulte os Exemplos de ação.

Ação CopyObject

Essa ação permite copiar um objeto de um bucket para outro ou dentro do mesmo bucket.

Parâmetros de entrada da ação CopyObject

Nome do parâmetro Tipo de dados Obrigatório Descrição
BucketSource String Sim Nome do bucket de onde o objeto deve ser copiado.
ObjectSource Objeto Sim Nome do objeto que deve ser copiado.
BucketDestination String Sim Nome do bucket em que o objeto será copiado.
ObjectDestination String Não Nome do objeto no bucket de destino. Se não for especificado, o nome será o mesmo do original.

Parâmetros de saída da ação CopyObject

Essa ação retorna o status 200 (OK) se a cópia for bem-sucedida.

Para entender como configurar a ação CopyObject, consulte Exemplos de ação.

Ação DownloadObjects

Essa ação recebe mais um objeto de um bucket.

Parâmetros de entrada da ação DownloadObjects

Nome do parâmetro Tipo de dados Obrigatório Descrição
Bucket String Sim Nome do bucket em que o objeto para download está presente.
Objeto String Não Nome do objeto que deve ser transferido por download. Se não for especificado, todos os objetos do bucket especificado é baixado.
HasBytes Booleano Sim Especifica se o conteúdo deve ser transferido por download como uma string codificada em Base64.
UpdatedStartDate Data/hora Não A data de início do período para fazer o download de objetos. Se não for especificado, o download dos objetos será feito do mais antigo até a data de término atualizada.
UpdatedEndDate Data/hora Não A data de término do período para fazer o download de objetos. Se não for especificado, o download de objetos será feito desde a UpdatedStartDate especificada até o dia atual.

Parâmetros de saída da ação DownloadObjects

Essa ação retorna o status 200 (OK) se o download for bem-sucedido.

Para entender como configurar a ação DownloadObjects, consulte Exemplos de ação.

Ação UploadObject

Com essa ação, você pode fazer upload de um objeto para um bucket.

Parâmetros de entrada da ação UploadObject

Nome do parâmetro Tipo de dados Obrigatório Descrição
Bucket String Sim Nome do bucket em que o objeto deve ser enviado.
ContentBytes String Não O conteúdo em bytes a ser enviado como um arquivo.
HasBytes Booleano Sim Especifica se o conteúdo deve ser enviado como uma string codificada em Base64.
AccessPolicy String Não A política de acesso para este objeto. Os valores permitidos são PRIVATE, ANONREAD, ANONREADWRITE e AUTHREAD. O valor padrão é PRIVADO.
Conteúdo String Não O conteúdo a ser enviado.
FileName String Não Nome do arquivo a ser enviado. Esse valor é obrigatório quando você especifica o parâmetro FileContent.

Parâmetros de saída da ação UploadObject

Essa ação retorna o status 200 (OK) se o upload do objeto for bem-sucedido.

Para entender como configurar a ação UploadObject, consulte Exemplos de ação.

Ação DeleteObject

Essa ação permite excluir um objeto de um bucket.

Parâmetros de entrada da ação DeleteObject

Nome do parâmetro Tipo de dados Obrigatório Descrição
Bucket String Sim Nome do bucket em que o objeto a ser excluído está presente.
Objeto String Sim Nome do objeto que será excluído.

Parâmetros de saída da ação DeleteObject

Essa ação retorna o status 200 (OK) se a exclusão for bem-sucedida.

Para entender como configurar a ação DeleteObject, consulte Exemplos de ação.

Ação MoveObject

Com essa ação, os usuários podem mover um objeto de um bucket específico para outro ou para o mesmo bucket.

Parâmetros de entrada da ação MoveObject

Nome do parâmetro Tipo de dados Obrigatório Descrição
BucketSource String Sim O nome do bucket de origem em que o objeto a ser movido está presente.
ObjectSource String Sim Nome do objeto que deve ser movido.
BucketDestination String Sim O nome do bucket de destino para onde o objeto deve ser movido.
ObjectDestination String Não Nome do objeto no bucket de destino. Se não for especificado, o nome original será mantido.

Parâmetros de saída da ação MoveObject

Essa ação retorna o status 200 (OK) se a operação de mover for bem-sucedida.

Para entender como configurar a ação MoveObject, consulte Exemplos de ação.

Ação PutBucketAcl

Com essa ação, você pode atualizar a lista de controle de acesso (ACL) de um bucket.

Parâmetros de entrada da ação PutBucketAcl

Nome do parâmetro Tipo de dados Obrigatório Descrição
Bucket String Sim Nome do bucket ao qual a ACL precisa ser aplicada.
ACL String Sim Nível de acesso a ser aplicado ao bucket.

Parâmetros de saída da ação PutBucketAcl

Essa ação retorna o status 200 (OK) se a atualização da ACL do bucket for bem-sucedida.

Para entender como configurar a ação PutBucketAcl, consulte Exemplos de ação.

Ação PutObjectAcl

Esta ação permite atualizar a lista de controle de acesso (ACL) de um objeto em um bucket.

Parâmetros de entrada da ação PutObjectAcl

Nome do parâmetro Tipo de dados Obrigatório Descrição
Bucket String Sim Nome do bucket em que o objeto está presente.
ACL String Sim Nível de acesso a ser aplicado ao objeto.
CHAVE String Sim Nome do objeto ao qual a ACL deve ser aplicada.

Parâmetros de saída da ação PutObjectAcl

Essa ação retornará o status 200 (OK) se a atualização da ACL do objeto for bem-sucedida.

Para entender como configurar a ação PutObjectAcl, consulte Exemplos de ação.

Exemplos de ação

Esta seção descreve como executar algumas das ações neste conector.

Exemplo: copiar um objeto

Este exemplo copia um objeto de um bucket para outro.

  1. Na caixa de diálogo Configure connector task, clique em Actions.
  2. Selecione a ação CopyObject e clique em Concluído.
  3. Na seção Entrada da tarefa da tarefa Connectors, clique em connectorInputPayload e insira um valor semelhante ao seguinte no campo Default Value:
    {
    "BucketSource": "aws-s3-bucket-source",
    "ObjectSource": "pic.jpg",
    "BucketDestination": "aws-s3-bucket-destination",
    "ObjectDestination": "new_pic.jpg"
    }
  4. Se a ação for bem-sucedida, o CopyObject resposta da tarefa connectorOutputPayload terá um valor semelhante ao seguinte:

    [{
    "Status": "Success"
    }]

Exemplo: fazer o download de um objeto

Este exemplo faz o download de um objeto do bucket especificado.

  1. Na caixa de diálogo Configure connector task, clique em Actions.
  2. Selecione a ação DownloadObjects e clique em Concluído.
  3. Na seção Entrada da tarefa da tarefa Connectors, clique em connectorInputPayload e insira um valor semelhante ao seguinte no campo Default Value:
    {
    "Bucket": "aws-s3-bucket-source",
    "HasBytes": true
    }
  4. Se a ação for bem-sucedida, o DownloadObjects resposta da tarefa connectorOutputPayload terá um valor semelhante ao seguinte:

    [{
    "Success": "True",
    "RemoteFile": "prefix1%2Faws-s3-bucket-source%2Finventory-test-1%2F2023-09-10T01-00Z%2Fmanifest.json",
    "ContentBytes": "ewogICJzb3VyY2VCdWNrZXQiIDogImF3cy1zMy1idWNrZXQtYmNvbmUiLAogICJnOK"
    },
    {
    "Success": "True",
    "RemoteFile": "upload1.txt",
    "ContentBytes": "VGhpcyBpcyBhIHRlc3RpbmcgZmlsZQ=="
    }]

Exemplo: fazer upload de um objeto

Este exemplo faz upload de um objeto para o bucket especificado.

  1. Na caixa de diálogo Configure connector task, clique em Actions.
  2. Selecione a ação UploadObject e clique em Concluído.
  3. Na seção Entrada de tarefa da tarefa Conectores, clique em connectorInputPayload e insira um valor semelhante ao seguinte no campo Campo Default Value:
    {
    "Bucket": "aws-s3-bucket-source",
    "FileName": "upload_1.txt",
    "Content": "This is a testing file",
    "AccessPolicy": "PUBLIC"
    }
  4. Se a ação for bem-sucedida, o parâmetro de resposta connectorOutputPayload da tarefa UploadObject terá um valor semelhante a este:

    [{
    "Status": "success",
    "bucket": "aws-s3-bucket-source",
    "rss:title": "Object 'upload_1.txt' was created in the bucket: aws-s3-bucket-source",
    "object": "upload_1.txt"
    }]

Exemplo: excluir um objeto

Este exemplo exclui um objeto do bucket especificado.

  1. Na caixa de diálogo Configure connector task, clique em Actions.
  2. Selecione a ação DeleteObject e clique em Concluído.
  3. Na seção Entrada de tarefa da tarefa Conectores, clique em connectorInputPayload e insira um valor semelhante ao seguinte no campo Campo Default Value:
    {
    "Bucket": "aws-s3-bucket-source",
    "Object": "abc.png"
    }
  4. Se a ação for bem-sucedida, o parâmetro de resposta connectorOutputPayload da tarefa DeleteObject terá um valor semelhante a este:

    [{
    "Status": "Success"
    }]

Exemplo: mover um objeto

Este exemplo move um objeto de um bucket para outro.

  1. Na caixa de diálogo Configure connector task, clique em Actions.
  2. Selecione a ação MoveObject e clique em Concluído.
  3. Na seção Entrada de tarefa da tarefa Conectores, clique em connectorInputPayload e insira um valor semelhante ao seguinte no campo Campo Default Value:
    {
    "BucketSource": "aws-s3-bucket-source",
    "ObjectSource": "abc.png",
    "BucketDestination": "aws-s3-bucket-destination",
    "ObjectDestination": "moved.png"
    }
  4. Se a ação for bem-sucedida, o parâmetro de resposta connectorOutputPayload da tarefa MoveObject terá um valor semelhante a este:

    [{
    "Status": "Success"
    }]

Exemplo: atualizar a ACL de um bucket

Este exemplo atualiza as permissões de controle de acesso de um bucket.

  1. Na caixa de diálogo Configure connector task, clique em Actions.
  2. Selecione a ação PutBucketAcl e clique em Concluído.
  3. Na seção Entrada de tarefa da tarefa Conectores, clique em connectorInputPayload e insira um valor semelhante ao seguinte no campo Campo Default Value:
    {
    "BucketSource": "aws-s3-bucket-source",
    "ACL": "public-read"
    }
  4. Se a ação for bem-sucedida, o parâmetro de resposta connectorOutputPayload da tarefa PutBucketAcl terá um valor semelhante a este:

    [{
    "Status": "Success"
    }]

Exemplo: atualizar a ACL de um objeto

Este exemplo atualiza as permissões de controle de acesso de um objeto em um bucket.

  1. Na caixa de diálogo Configure connector task, clique em Actions.
  2. Selecione a ação PutObjectAcl e clique em Concluído.
  3. Na seção Entrada da tarefa da tarefa Connectors, clique em connectorInputPayload e insira um valor semelhante ao seguinte no campo Default Value:
    {
    "Bucket": "aws-s3-bucket-source",
    "ACL": "aws-exec-read",
    "Key": "AWS_S3_BusinessCase_V2.xlsx"
    }
  4. Se a ação for bem-sucedida, o PutObjectAcl resposta da tarefa connectorOutputPayload terá um valor semelhante ao seguinte:

    [{
    "Status": "Success"
    }]

Exemplos de operações de entidade

Esta seção mostra como executar algumas das operações de entidade neste conector.

Exemplo: metadados de lista de todos os objetos

Este exemplo busca os metadados de todos os objetos na entidade Object.

  1. Na caixa de diálogo Configure connector task, clique em Entities.
  2. Selecione Object na lista Entity.
  3. Selecione a operação List e clique em Concluído.
  4. Na seção Entrada de tarefa da tarefa Conectores, você também pode filtrar o conjunto de resultados especificando uma cláusula de filtro. Especifique o valor da cláusula de filtro sempre entre aspas simples ("). Por exemplo, Bucket='test-bucket'. Você também pode especificar várias condições de filtro usando os operadores lógicos. Por exemplo, Bucket='test-bucket' and OwnerId='b1ecc809ad8467088afb'.

Exemplo: acessar metadados de um bucket

Este exemplo recebe os metadados do bucket com o ID especificado da entidade Bucket.

  1. Na caixa de diálogo Configure connector task, clique em Entities.
  2. Selecione Bucket na lista Entity.
  3. Selecione a operação Get e clique em Concluído.
  4. Na seção Task Input da tarefa Connectors, clique em EntityId e e insira demo_replication no campo Valor padrão.

    Aqui, demo_replication é um ID de bucket exclusivo na entidade Bucket.

Exemplo: criar um bucket

Este exemplo cria um bucket na entidade Bucket.

  1. Na caixa de diálogo Configure connector task, clique em Entities.
  2. Selecione Bucket na lista Entity.
  3. Selecione a operação Create e clique em Concluído.
  4. Na seção Entrada de tarefa da tarefa Conectores, clique em connectorInputPayload e insira um valor semelhante ao seguinte no campo Campo Default Value:
    {
    "Bucket": "Demo1697528098686"
    }

    Se a integração for bem-sucedida, o campo connectorOutputPayload da tarefa do conector terá uma semelhante a:

    [{
    "Bucket": "Demo1697528098686"
    }]

Exemplo: excluir um bucket

Neste exemplo, o bucket com o ID especificado na entidade Bucket é excluído.

  1. Na caixa de diálogo Configure connector task, clique em Entities.
  2. Selecione Bucket na lista Entity.
  3. Selecione a operação Delete e clique em Concluído.
  4. Na seção Entrada da tarefa da tarefa Connectors, clique em entityId e digite demo1697528098686 no campo Valor padrão.

Usar a conexão do Amazon S3 em uma integração

Depois de criar a conexão, ela fica disponível na integração da Apigee e na integração do aplicativo. Você pode usar a conexão em uma integração pela tarefa Conectores.

  • Para entender como criar e usar a tarefa Conectores na integração da Apigee, consulte a Tarefa Conectores.
  • Para entender como criar e usar a tarefa "Conectores" na integração de aplicativos, consulte Tarefa "Conectores".

Receber ajuda da comunidade do Google Cloud

Poste suas dúvidas e converse sobre esse conector na comunidade do Google Cloud em Fóruns do Cloud.

A seguir