Caricamenti compositi paralleli

Console

La console Google Cloud non esegue caricamenti compositi paralleli.

Riga di comando

Puoi configurare come e quando gcloud storage cp esegue caricamenti compositi paralleli modificando le seguenti proprietà:

• storage/parallel_composite_upload_enabled: proprietà per l'attivazione dei caricamenti compositi paralleli. Se False, disattiva i caricamenti compositi paralleli. Se True o None, esegui caricamenti compositi paralleli per gli oggetti che soddisfano i criteri definiti nelle altre proprietà. L'impostazione predefinita è None.

• storage/parallel_composite_upload_compatibility_check: proprietà per attivare/disattivare i controlli di sicurezza. Se True, gcloud storage esegue caricamenti compositi paralleli solo se sono soddisfatte tutte le seguenti condizioni:

  • La classe di archiviazione per l'oggetto caricato è STANDARD.
  • Il bucket di destinazione non ha un criterio di conservazione.
  • Nel bucket di destinazione non sono abilitate le sospensioni predefinite degli oggetti.

  Tieni presente che per verificare queste condizioni, gcloud CLI recupera i metadati del bucket di destinazione nell'ambito del comando di caricamento.

  Se False, gcloud storage non esegue alcun controllo. L'impostazione predefinita è True.

• storage/parallel_composite_upload_threshold: la dimensione totale minima del file per eseguire un caricamento composito parallelo. L'impostazione predefinita è 150 MiB.

• storage/parallel_composite_upload_component_size: la dimensione massima per ogni oggetto temporaneo. La proprietà viene ignorata se le dimensioni totali del file sono così grandi da richiedere più di 32 blocchi di queste dimensioni.

• storage/parallel_composite_upload_component_prefix: il prefisso utilizzato per denominare gli oggetti temporanei. Questa proprietà può essere impostata come percorso assoluto o come percorso relativo all'oggetto finale. Per ulteriori informazioni, consulta la descrizione della proprietà. Il prefisso predefinito è il percorso assoluto /gcloud/tmp/parallel_composite_uploads/see_gcloud_storage_cp_help_for_details.

Puoi modificare queste proprietà creando una configurazione denominata e applicando la configurazione per ogni comando utilizzando il flag --configuration a livello di progetto o per tutti i comandi gcloud CLI utilizzando il comando gcloud config set.

Quando utilizzi gcloud CLI per eseguire caricamenti compositi paralleli, non è necessario spazio su disco locale aggiuntivo. Se un caricamento composito parallelo non va a buon fine prima della composizione, esegui di nuovo il comando gcloud CLI per sfruttare i caricamenti ripristinabili per gli oggetti temporanei non riusciti. Gli oggetti temporanei caricati correttamente prima dell'errore non vengono ricaricati quando riprendi il caricamento.

Gli oggetti temporanei vengono denominati nel seguente modo:

TEMPORARY_PREFIX/RANDOM_VALUE_HEX_DIGEST_COMPONENT_ID

Dove:

• TEMPORARY_PREFIX è controllato dalla proprietà storage/parallel_composite_upload_component_prefix.
• RANDOM_VALUE è un valore numerico casuale.
• HEX_DIGEST è un hash derivato dal nome della risorsa di origine.
• COMPONENT_ID è il numero sequenziale del componente.

In genere, gli oggetti temporanei vengono eliminati al termine di un caricamento composito parallelo, ma per evitare di lasciare oggetti temporanei, devi controllare lo stato di uscita del comando gcloud CLI ed eliminare manualmente gli oggetti temporanei caricati nell'ambito di un caricamento interrotto.

Librerie client

import com.google.cloud.storage.transfermanager.ParallelUploadConfig;
import com.google.cloud.storage.transfermanager.TransferManager;
import com.google.cloud.storage.transfermanager.TransferManagerConfig;
import com.google.cloud.storage.transfermanager.UploadResult;
import java.io.IOException;
import java.nio.file.Path;
import java.util.List;

class AllowParallelCompositeUpload {

  public static void parallelCompositeUploadAllowed(String bucketName, List<Path> files)
      throws IOException {
    TransferManager transferManager =
        TransferManagerConfig.newBuilder()
            .setAllowParallelCompositeUpload(true)
            .build()
            .getService();
    ParallelUploadConfig parallelUploadConfig =
        ParallelUploadConfig.newBuilder().setBucketName(bucketName).build();
    List<UploadResult> results =
        transferManager.uploadFiles(files, parallelUploadConfig).getUploadResults();
    for (UploadResult result : results) {
      System.out.println(
          "Upload for "
              + result.getInput().getName()
              + " completed with status "
              + result.getStatus());
    }
  }
}

API REST

Sia l'API JSON che l'API XML supportano il caricamento parallelo di blocchi di oggetti e la loro ricombinazione in un unico oggetto utilizzando l'operazione compose.

Tieni presente quanto segue quando progetti il codice per i caricamenti compositi paralleli:

• Quando si utilizza l'operazione compose, gli oggetti di origine non sono interessati dal processo di composizione.

  Ciò significa che, se devono essere temporanei, devi eliminarli esplicitamente una volta completata la composizione, altrimenti gli oggetti di origine rimangono nel bucket e vengono fatturati di conseguenza.

• Per proteggerti dalle modifiche agli oggetti di origine tra le richieste di caricamento e composizione, devi fornire un numero di generazione previsto per ogni origine.