Configura el acceso a una fuente: Amazon S3

Puedes configurar el acceso a un bucket de Amazon S3 mediante uno de estos dos métodos:

• Credenciales de acceso
• Identidad federada

Regiones admitidas

Permisos necesarios

Para usar el Servicio de transferencia de almacenamiento a fin de transferir datos desde un dispositivo Amazon S3 tu cuenta de usuario o rol de identidad federada debe permisos para el bucket:

Autentica con credenciales de acceso

Para usar un ID de clave de acceso y una clave secreta para autenticarte en AWS, sigue estos pasos:

1. Crea un usuario de administración de identidades y accesos de AWS (IAM de AWS) con un nombre que puedas reconocer fácilmente, como transfer-user.

2. Para el tipo de acceso a AWS, selecciona Clave de acceso: acceso programático.

3. Otorga uno de los siguientes roles al usuario:

   • AmazonS3ReadOnlyAccess para proporcionar acceso de solo lectura a la fuente. Esto permite las transferencias, pero no admite la eliminación de objetos en la fuente. una vez que se completa la transferencia.
   • AmazonS3FullAccess si tu transferencia está configurada para borrar objetos en la fuente.

   • Un rol personalizado con los permisos adecuados Permisos necesarios anterior. El JSON para los permisos mínimos se ven como el siguiente ejemplo:

     {
       "Version": "2012-10-17",
       "Statement": [
           {
               "Effect": "Allow",
               "Action": [
                   "s3:GetObject",
                   "s3:ListBucket"
               ],
               "Resource": [
                   "arn:aws:s3:::AWS_BUCKET_NAME/*",
                   "arn:aws:s3:::AWS_BUCKET_NAME"
               ]
           }
       ]
     }

4. Toma nota del ID de clave de acceso y la clave de acceso secreta cuando el usuario esté se creó correctamente.

Cómo pasas el ID de clave de acceso y la clave de acceso secreta al Servicio de transferencia de almacenamiento depende de la interfaz que utilice para iniciar la transferencia.

{
  "accessKeyId": "AWS_ACCESS_KEY_ID",
  "secretAccessKey": "AWS_SECRET_ACCESS_KEY"
}

gcloud transfer jobs create s3://S3_BUCKET_NAME gs://GCS_BUCKET_NAME \
  --source-creds-file=PATH/TO/KEYFILE.JSON

"transferSpec": {
  "awsS3DataSource": {
    "bucketName": "AWS_SOURCE_NAME",
    "awsAccessKey": {
      "accessKeyId": "AWS_ACCESS_KEY_ID",
      "secretAccessKey": "AWS_SECRET_ACCESS_KEY"
    }
  },
  "gcsDataSink": {
    "bucketName": "GCS_SINK_NAME"
  }
}

Guarda tus credenciales de acceso en Secret Manager

Secret Manager es un servicio seguro que almacena y administra datos sensibles, como contraseñas. Cuenta con encriptación sólida, acceso basado en roles controles de acceso y registros de auditoría para proteger los Secrets.

El Servicio de transferencia de almacenamiento puede aprovechar Secret Manager para proteger tus credenciales de acceso a AWS. Carga tus credenciales en Secret Manager pasar el nombre del recurso del Secret al Servicio de transferencia de almacenamiento.

Habilita la API

Enable the Secret Manager API.

Enable the API

Configura permisos adicionales

Permisos de usuario

El usuario que crea el secreto necesita el siguiente rol:

• Administrador de Secret Manager (roles/secretmanager.admin)

Obtén más información para otorgar un rol.

Permisos del agente de servicio

El agente de servicio del Servicio de transferencia de almacenamiento requiere el siguiente rol de IAM:

• Acceso a secretos de Secret Manager (roles/secretmanager.secretAccessor)

Para otorgar la función a tu agente de servicio, sigue estos pasos:

Crea un secreto

Crea un secreto con Secret Manager:

printf '{
  "accessKeyId": "AWS_ACCESS_KEY_ID",
  "secretAccessKey": "AWS_SECRET_ACCESS_KEY"
}' | gcloud secrets create SECRET_NAME --data-file=-

gcloud secrets describe SECRET_NAME

Para obtener más información sobre cómo crear y administrar Secrets, consulta el Documentación de Secret Manager.

Pasa tu secreto al comando de creación de trabajos

Usa Secret Manager con El Servicio de transferencia de almacenamiento requiere el uso de la API de REST para crear un trabajo de transferencia.

Pasa el nombre del recurso de Secret Manager como el valor del Campo transferSpec.awsS3DataSource.credentialsSecret:

POST https://storagetransfer.googleapis.com/v1/transferJobs

{
  "description": "Transfer with Secret Manager",
  "status": "ENABLED",
  "projectId": "PROJECT_ID",
  "transferSpec": {
      "awsS3DataSource": {
          "bucketName": "AWS_BUCKET_NAME",
          "credentialsSecret": "SECRET_RESOURCE_ID",
      },
      "gcsDataSink": {
          "bucketName": "CLOUD_STORAGE_BUCKET_NAME"
      }
  }
}

Autentica mediante identidad federada

Para usar la identidad federada a fin de autenticarte en AWS, sigue estos pasos:

1. Crea un rol de IAM nuevo en AWS.

2. Selecciona Política de confianza personalizada como el tipo de entidad de confianza.

3. Copia y pega la siguiente política de confianza:

   {
     "Version": "2012-10-17",
     "Statement": [
       {
         "Effect": "Allow",
         "Principal": {
           "Federated": "accounts.google.com"
         },
         "Action": "sts:AssumeRoleWithWebIdentity",
         "Condition": {
           "StringEquals": {
             "accounts.google.com:sub": "SUBJECT_ID"
           }
         }
       }
     ]
   }
   

4. Reemplaza SUBJECT_ID por el subjectID de la cuenta de servicio administrada por Google que se crea automáticamente cuando comienzas a usar el Servicio de transferencia de almacenamiento. Para recuperar el subjectID, haz lo siguiente:

   1. Ve a la sección Página de referencia de googleServiceAccounts.get

      Se abrirá un panel interactivo con el título Prueba este método.

   2. En el panel, en Parámetros de solicitud, ingresa el ID del proyecto. El proyecto que especifiques aquí debe ser el proyecto que usas para administrar el Servicio de transferencia de almacenamiento.

   3. Haz clic en Ejecutar. El subjectId se incluye en la respuesta.

5. Otorga una de las siguientes políticas de permisos al rol:

   • AmazonS3ReadOnlyAccess proporciona acceso de solo lectura a la fuente. Esto permite las transferencias, pero no admite la eliminación de objetos en la fuente. una vez que se completa la transferencia.
   • AmazonS3FullAccess si tu transferencia está configurada para borrar objetos en la fuente.

   • Un rol personalizado con los permisos adecuados Permisos necesarios anterior. El JSON para los permisos mínimos se ven como el siguiente ejemplo:

     {
       "Version": "2012-10-17",
       "Statement": [
           {
               "Effect": "Allow",
               "Action": [
                   "s3:GetObject",
                   "s3:ListBucket"
               ],
               "Resource": [
                   "arn:aws:s3:::AWS_BUCKET_NAME/*",
                   "arn:aws:s3:::AWS_BUCKET_NAME"
               ]
           }
       ]
     }

6. Asígnale un nombre al rol y créalo.

7. Una vez creado, consulte los detalles del rol para recuperar el nombre del recurso de Amazon. (ARN). Ten en cuenta este valor: tiene el formato arn:aws:iam::AWS_ACCOUNT:role/ROLE_NAME

Cómo pasas el ARN al Servicio de transferencia de almacenamiento depende de la interfaz que utilice para iniciar la transferencia.

{
  "roleArn": "ARN"
}

gcloud transfer jobs create s3://S3_BUCKET_NAME gs://GCS_BUCKET_NAME \
  --source-creds-file=PATH/TO/ARNFILE.JSON

"transferSpec": {
  "awsS3DataSource": {
    "bucketName": "AWS_SOURCE_NAME",
    "roleArn": "ARN"
  },
  "gcsDataSink": {
    "bucketName": "GCS_SINK_NAME"
  }
}

Restricciones de IP

Si tu proyecto de AWS usa restricciones de IP para acceder al almacenamiento, debes agrega los rangos de IP que usan los trabajadores del Servicio de transferencia de almacenamiento a la lista IP

Dado que estos rangos de IP pueden cambiar, publicamos los valores actuales como un archivo JSON en una dirección permanente:

https://www.gstatic.com/storage-transfer-service/ipranges.json

Cuando se agregue un rango nuevo al archivo, esperaremos al menos 7 días antes usando ese rango para las solicitudes del Servicio de transferencia de almacenamiento.

Te recomendamos que extraigas los datos de este documento al menos una vez por semana para mantener de que tu configuración de seguridad esté actualizada. Para una secuencia de comandos de Python de muestra que recupera Rangos de IP de un archivo JSON, consulta este artículo de la Oficina documentación.

Para agregar estos rangos como IP permitidas, usa el campo Condition en un bucket de servicio estándar, como se describe en la documentación de AWS S3: Administra el acceso según direcciones IP específicas.