Configurare l'accesso a un'origine: Amazon S3

Puoi configurare l'accesso a un bucket Amazon S3 utilizzando uno dei due metodi:

• Credenziali di accesso
• Identità federata

Aree geografiche supportate

Autorizzazioni obbligatorie

Per utilizzare Storage Transfer Service per spostare i dati da un bucket Amazon S3, il tuo account utente o il ruolo dell'identità federata deve disporre delle autorizzazioni appropriate per il bucket:

Esegui l'autenticazione utilizzando le credenziali di accesso

Per utilizzare un ID chiave di accesso e una chiave segreta per autenticarti su AWS:

1. Crea un utente AWS Identity and Access Management (AWS IAM) con un nome che puoi riconoscere facilmente, ad esempio transfer-user.

2. Per il tipo di accesso AWS, seleziona Access key - programmatic access (Chiave di accesso - accesso programmatico).

3. Concedi all'utente uno dei seguenti ruoli:

   • AmazonS3ReadOnlyAccess per fornire l'accesso in sola lettura all'origine. Ciò consente i trasferimenti, ma non supporta l'eliminazione degli oggetti di origine al termine del trasferimento.
   • AmazonS3FullAccess se il trasferimento è configurato per eliminare gli oggetti all'origine.

   • Un ruolo personalizzato con le autorizzazioni appropriate riportate nella tabella Autorizzazioni richieste sopra. Il JSON per le autorizzazioni minime è simile all'esempio riportato di seguito:

     {
       "Version": "2012-10-17",
       "Statement": [
           {
               "Effect": "Allow",
               "Action": [
                   "s3:GetObject",
                   "s3:ListBucket"
               ],
               "Resource": [
                   "arn:aws:s3:::AWS_BUCKET_NAME/*",
                   "arn:aws:s3:::AWS_BUCKET_NAME"
               ]
           }
       ]
     }

4. Prendi nota dell'ID chiave di accesso e della chiave di accesso segreta quando l'utente è stato creato correttamente.

Il modo in cui passi l'ID chiave di accesso e la chiave di accesso segreta a Storage Transfer Service dipende dall'interfaccia che utilizzi per avviare il trasferimento.

{
  "accessKeyId": "AWS_ACCESS_KEY_ID",
  "secretAccessKey": "AWS_SECRET_ACCESS_KEY"
}

gcloud transfer jobs create s3://S3_BUCKET_NAME gs://GCS_BUCKET_NAME \
  --source-creds-file=PATH/TO/KEYFILE.JSON

"transferSpec": {
  "awsS3DataSource": {
    "bucketName": "AWS_SOURCE_NAME",
    "awsAccessKey": {
      "accessKeyId": "AWS_ACCESS_KEY_ID",
      "secretAccessKey": "AWS_SECRET_ACCESS_KEY"
    }
  },
  "gcsDataSink": {
    "bucketName": "GCS_SINK_NAME"
  }
}

Salvare le credenziali di accesso in Secret Manager

Secret Manager è un servizio sicuro che archivia e gestisce dati sensibili come le password. Utilizza crittografia avanzata, controllo dell'accesso basato sui ruoli e registrazione delle attività di audit per proteggere i tuoi secret.

Storage Transfer Service può utilizzare Secret Manager per proteggere le tue credenziali di accesso AWS. Carichi le tue credenziali in Secret Manager, quindi li passi il nome della risorsa secret a Storage Transfer Service.

Abilita l'API

Enable the Secret Manager API.

Enable the API

Configurare autorizzazioni aggiuntive

Autorizzazioni utente

L'utente che crea il segreto deve disporre del seguente ruolo:

• Amministratore di Secret Manager (roles/secretmanager.admin)

Scopri come concedere un ruolo.

Autorizzazioni agente di servizio

L'agente di servizio Storage Transfer Service richiede il seguente ruolo IAM:

• Secret Manager Secret Accessor (roles/secretmanager.secretAccessor)

Per concedere il ruolo all'agente di servizio:

Crea un secret

Crea un secret con Secret Manager:

printf '{
  "accessKeyId": "AWS_ACCESS_KEY_ID",
  "secretAccessKey": "AWS_SECRET_ACCESS_KEY"
}' | gcloud secrets create SECRET_NAME --data-file=-

gcloud secrets describe SECRET_NAME

Per ulteriori dettagli sulla creazione e sulla gestione dei secret, consulta la documentazione di Secret Manager.

Passa il segreto al comando di creazione del job

L'utilizzo di Secret Manager con Storage Transfer Service richiede l'utilizzo dell'API REST per creare un job di trasferimento.

Passa il nome della risorsa Secret Manager come valore del campo transferSpec.awsS3DataSource.credentialsSecret:

POST https://storagetransfer.googleapis.com/v1/transferJobs

{
  "description": "Transfer with Secret Manager",
  "status": "ENABLED",
  "projectId": "PROJECT_ID",
  "transferSpec": {
      "awsS3DataSource": {
          "bucketName": "AWS_BUCKET_NAME",
          "credentialsSecret": "SECRET_RESOURCE_ID",
      },
      "gcsDataSink": {
          "bucketName": "CLOUD_STORAGE_BUCKET_NAME"
      }
  }
}

Esegui l'autenticazione utilizzando l'identità federata

Per utilizzare l'identità federata per autenticarti su AWS:

1. Crea un nuovo ruolo IAM in AWS.

2. Seleziona Criterio di attendibilità personalizzato come tipo di entità attendibile.

3. Copia e incolla il seguente criterio di attendibilità:

   {
     "Version": "2012-10-17",
     "Statement": [
       {
         "Effect": "Allow",
         "Principal": {
           "Federated": "accounts.google.com"
         },
         "Action": "sts:AssumeRoleWithWebIdentity",
         "Condition": {
           "StringEquals": {
             "accounts.google.com:sub": "SUBJECT_ID"
           }
         }
       }
     ]
   }
   

4. Sostituisci SUBJECT_ID con subjectID dell'account di servizio gestito da Google che viene creato automaticamente quando inizi a utilizzare Storage Transfer Service. Per recuperare il subjectID:

   1. Vai alla pagina di riferimento googleServiceAccounts.get.

      Viene visualizzato un riquadro interattivo denominato Prova questo metodo.

   2. Nel riquadro, in Parametri di richiesta, inserisci il tuo ID progetto. Il progetto specificato qui deve essere quello che utilizzi per gestire Storage Transfer Service.

   3. Fai clic su Execute (Esegui). subjectId è incluso nella risposta.

5. Concedi al ruolo uno dei seguenti criteri di autorizzazione:

   • AmazonS3ReadOnlyAccess fornisce l'accesso di sola lettura all'origine. Ciò consente i trasferimenti, ma non supporta l'eliminazione degli oggetti di origine al termine del trasferimento.
   • AmazonS3FullAccess se il trasferimento è configurato per eliminare gli oggetti all'origine.

   • Un ruolo personalizzato con le autorizzazioni appropriate riportate nella tabella Autorizzazioni richieste sopra. Il JSON per le autorizzazioni minime è simile all'esempio riportato di seguito:

     {
       "Version": "2012-10-17",
       "Statement": [
           {
               "Effect": "Allow",
               "Action": [
                   "s3:GetObject",
                   "s3:ListBucket"
               ],
               "Resource": [
                   "arn:aws:s3:::AWS_BUCKET_NAME/*",
                   "arn:aws:s3:::AWS_BUCKET_NAME"
               ]
           }
       ]
     }

6. Assegna un nome al ruolo e crealo.

7. Una volta creato, visualizza i dettagli del ruolo per recuperare l'Amazon Resource Name (ARN). Prendi nota di questo valore, che ha il formato arn:aws:iam::AWS_ACCOUNT:role/ROLE_NAME.

Il modo in cui passi l'ARN a Storage Transfer Service dipende dall'interfaccia che utilizzi per avviare il trasferimento.

{
  "roleArn": "ARN"
}

gcloud transfer jobs create s3://S3_BUCKET_NAME gs://GCS_BUCKET_NAME \
  --source-creds-file=PATH/TO/ARNFILE.JSON

"transferSpec": {
  "awsS3DataSource": {
    "bucketName": "AWS_SOURCE_NAME",
    "roleArn": "ARN"
  },
  "gcsDataSink": {
    "bucketName": "GCS_SINK_NAME"
  }
}

Restrizioni IP

Se il tuo progetto AWS utilizza limitazioni IP per l'accesso allo spazio di archiviazione, devi aggiungere gli intervalli IP utilizzati dai worker di Storage Transfer Service al tuo elenco di IP consentiti.

Poiché questi intervalli IP possono cambiare, pubblichiamo i valori correnti come file JSON in un indirizzo permanente:

https://www.gstatic.com/storage-transfer-service/ipranges.json

Quando viene aggiunto un nuovo intervallo al file, aspettiamo almeno 7 giorni prima di utilizzarlo per le richieste di Storage Transfer Service.

Ti consigliamo di estrarre i dati da questo documento almeno una volta alla settimana per mantenere aggiornata la configurazione della sicurezza. Per uno script Python di esempio che recupera gli intervalli IP da un file JSON, consulta questo articolo della documentazione di Virtual Private Cloud.

Per aggiungere questi intervalli come IP consentiti, utilizza il campo Condition in un criterio del bucket, come descritto nella documentazione di AWS S3: Gestire l'accesso in base ad indirizzi IP specifici.