Esportazione e importazione di dati

Puoi utilizzare il servizio di esportazione e importazione gestito Firestore per recuperare i dati dall'eliminazione accidentale ed esportarli per l'elaborazione offline. Puoi esportare tutti i documenti o solo raccolte specifiche. Allo stesso modo, puoi importare tutti i dati di un'esportazione o solo raccolte specifiche. I dati esportati da un database Firestore possono essere importati in un altro database Firestore. Puoi anche caricare le esportazioni di Firestore in BigQuery.

Questa pagina descrive come esportare e importare documenti Firestore utilizzando il servizio di esportazione e importazione gestito e Cloud Storage. Il servizio di esportazione e importazione gestito di Firestore è disponibile tramite lo strumento a riga di comando gcloud e l'API Firestore (REST, RPC).

Prima di iniziare

Prima di poter utilizzare il servizio di esportazione e importazione gestito, devi completare le seguenti attività:

1. Abilita la fatturazione per il tuo progetto Google Cloud. Solo i progetti Google Cloud con la fatturazione abilitata possono utilizzare la funzionalità di esportazione e importazione.
2. Crea un bucket Cloud Storage per il tuo progetto in una posizione vicina alla località del database Firestore. Non puoi utilizzare un bucket paga il richiedente per le operazioni di esportazione e importazione.

3. Assicurati che il tuo account disponga delle autorizzazioni necessarie per Firestore e Cloud Storage. Se sei il proprietario del progetto, il tuo account dispone delle autorizzazioni richieste. In caso contrario, i seguenti ruoli grantano le autorizzazioni necessarie per le operazioni di esportazione e importazione e per l'accesso a Cloud Storage:

   • Ruoli Firestore: Owner, Cloud Datastore Owner o Cloud Datastore Import Export Admin

   • Ruoli di Cloud Storage: Owner o Storage Admin

Autorizzazioni agente di servizio

Le operazioni di esportazione e importazione utilizzano un agente di servizio Firestore per autorizzare le operazioni di Cloud Storage. L'agente di servizio Firestore utilizza la seguente convenzione di denominazione:

Agente di servizio Firestore

service-PROJECT_NUMBER@gcp-sa-firestore.iam.gserviceaccount.com

Per scoprire di più sugli agenti di servizio, consulta Agenti di servizio.

L'agente di servizio Firestore richiede l'accesso al bucket Cloud Storage utilizzato in un'operazione di esportazione o importazione. Se il bucket Cloud Storage si trova nello stesso progetto del database Firestore, l'agente di servizio Firestore può accedere al bucket per impostazione predefinita.

Se il bucket Cloud Storage si trova in un altro progetto, devi fornire all'agente di servizio Firestore l'accesso al bucket Cloud Storage.

Assegna i ruoli all'agente di servizio

Puoi utilizzare lo strumento a riga di comando gsutil per assegnare uno dei ruoli riportati di seguito. Ad esempio, per assegnare il ruolo Amministratore dello spazio di archiviazione all'agente di servizio Firestore, esegui quanto segue:

gsutil iam ch serviceAccount:service-PROJECT_NUMBER@gcp-sa-firestore.iam.gserviceaccount.com:roles/storage.admin \
    gs://[BUCKET_NAME]

Sostituisci PROJECT_NUMBER con il numero del progetto, che viene utilizzato per assegnare un nome all'agente di servizio Firestore. Per visualizzare il nome dell'agente di servizio, vedi Visualizzare il nome dell'agente di servizio.

In alternativa, puoi assegnare questo ruolo utilizzando la console Google Cloud.

Visualizza il nome dell'agente di servizio

Puoi visualizzare l'account utilizzato dalle operazioni di importazione ed esportazione per autorizzare le richieste dalla pagina Importa/Esporta nella console Google Cloud. Puoi anche controllare se il tuo database utilizza l'agente di servizio Firestore o l'account di servizio App Engine precedente.

1. Nella console Google Cloud, vai alla pagina Database.

   Vai a Database

2. Seleziona il database richiesto dall'elenco dei database.

3. Nel menu di navigazione, fai clic su Importazione/esportazione.

4. Visualizza l'account di autorizzazione accanto all'etichetta I job di importazione/esportazione vengono eseguiti come.

L'agente di servizio deve disporre del ruolo Storage Admin per il bucket Cloud Storage da utilizzare per l'operazione di esportazione o importazione.

Configura gcloud per il tuo progetto

Puoi avviare le operazioni di importazione ed esportazione tramite la console Google Cloud o lo strumento a riga di comando gcloud. Per utilizzare gcloud, configura lo strumento a riga di comando e connettiti al tuo progetto in uno dei seguenti modi:

• Accedi a gcloud dalla console della Google Cloud Platform utilizzando Cloud Shell.

  Avvia Cloud Shell

  Assicurati che gcloud sia configurato per il progetto corretto:

  gcloud config set project [PROJECT_ID]
  

• Installa e inizializza Google Cloud SDK.

Esporta i dati

Un'operazione di esportazione copia i documenti del tuo database in un set di file di un bucket Cloud Storage. Tieni presente che un'esportazione non è uno snapshot esatto del database acquisito al momento di inizio dell'esportazione. Un'esportazione potrebbe includere le modifiche apportate durante l'esecuzione dell'operazione.

Esportazione di tutti i documenti

  gcloud firestore export gs://[BUCKET_NAME] \
  --database=[DATABASE]

Esportare raccolte specifiche

gcloud firestore export gs://[BUCKET_NAME] \
--collection-ids=[COLLECTION_ID_1],[COLLECTION_ID_2],[SUBCOLLECTION_ID_1] \
--database=[DATABASE]

gcloud firestore export gs://[BUCKET_NAME] \
--collection-ids=restaurants,reviews \
--database='cymbal'

Esportazione da un timestamp PITR

Puoi esportare il tuo database in Cloud Storage dai dati PITR utilizzando il comando gcloud firestore export. Puoi esportare i dati PITR in cui il timestamp è un timestamp intero di un minuto negli ultimi sette giorni, ma non prima del giorno earliestVersionTime. Se i dati non esistono più al timestamp specificato, l'operazione di esportazione non va a buon fine.

L'operazione di esportazione PITR supporta tutti i filtri, inclusa l'esportazione di tutti i documenti e di raccolte specifiche.

1. Esporta il database specificando il parametro snapshot-time con il timestamp di recupero desiderato.

   gcloud

   Esegui il comando seguente per esportare il database nel bucket.

   gcloud firestore export gs://[BUCKET_NAME_PATH] \
       --snapshot-time=[PITR_TIMESTAMP] \
       --collection-ids=[COLLECTION_IDS] \
       --namespace-ids=[NAMESPACE_IDS]
   

   Dove,

   • PITR_TIMESTAMP: un timestamp PITR con granularità a livello di minuto, ad esempio 2023-05-26T10:20:00.00Z.

   Tieni presente quanto segue prima di esportare i dati PITR:

   • Specifica il timestamp nel formato RFC 3339. Ad esempio, 2020-09-01T23:59:30.234233Z.
   • Assicurati che il timestamp specificato sia un timestamp di un minuto intero degli ultimi sette giorni, ma non precedente al giorno earliestVersionTime. Se i dati non esistono più al timestamp specificato, viene generato un errore.
   • Non ti viene addebitato alcun costo per un'esportazione PITR non riuscita.

Importa dati

Dopo aver esportato i file in Cloud Storage, puoi importare i documenti al loro interno nel tuo progetto o in un altro progetto. Tieni presente quanto segue sulle operazioni di importazione:

• Quando importi i dati, gli indici richiesti vengono aggiornati utilizzando le definizioni degli indici correnti del database. Un'esportazione non contiene definizioni di indici.

• Le importazioni non assegnano nuovi ID documento. Le importazioni utilizzano gli ID acquisiti al momento dell'esportazione. Durante l'importazione di un documento, il relativo ID viene riservato per evitare collisioni di ID. Se esiste già un documento con lo stesso ID, l'importazione sovrascrive il documento esistente.

• Se un documento nel tuo database non è interessato da un'importazione, rimarrà nel database dopo l'importazione.

• Le operazioni di importazione non attivano Cloud Functions. I listener snapshot ricevono aggiornamenti relativi alle operazioni di importazione.

• Il nome del file .overall_export_metadata deve corrispondere al nome della cartella parente:

  gs://BUCKET_NAME/OPTIONAL_NAMESPACE_PATH/PARENT_FOLDER_NAME/PARENT_FOLDER_NAME.overall_export_metadata

  Se sposti o copi i file di output di un'esportazione, mantieni invariato il nome dei file PARENT_FOLDER_NAME e .overall_export_metadata.

Importare tutti i documenti da un'esportazione

gcloud firestore import gs://[BUCKET_NAME]/[EXPORT_PREFIX]/ --database=[DATABASE]

gcloud firestore import gs://my-bucket/2017-05-25T23:54:39_76544/ --database='cymbal'

Importa collezioni specifiche

  gcloud firestore import gs://[BUCKET_NAME]/[EXPORT_PREFIX]/ \
  --collection-ids=[COLLECTION_ID_1],[COLLECTION_ID_2],[SUBCOLLECTION_ID_1] \
  --database=[DATABASE]

Importa un'esportazione PITR

Per importare il database esportato, segui la procedura descritta in Importare tutti i documenti. Se nel database esiste già un documento, verrà sovrascritto.

Gestione delle operazioni di esportazione e importazione

Dopo aver avviato un'operazione di esportazione o importazione, Firestore assegna all'operazione un nome univoco. Puoi utilizzare il nome dell'operazione per eliminarla, annullarla o verificarne lo stato.

I nomi delle operazioni sono preceduti da projects/[PROJECT_ID]/databases/(default)/operations/, ad esempio:

projects/my-project/databases/(default)/operations/ASA1MTAwNDQxNAgadGx1YWZlZAcSeWx0aGdpbi1zYm9qLW5pbWRhEgopEg

Tuttavia, puoi omettere il prefisso quando specifichi un nome dell'operazione per i comandi describe, cancel e delete.

Elenca tutte le operazioni di esportazione e importazione

gcloud firestore operations list

Controllare lo stato dell'operazione

gcloud firestore operations describe [OPERATION_NAME]

Stima il tempo di completamento

Una richiesta relativa allo stato di un'operazione a lunga esecuzione restituisce le metriche workEstimated e workCompleted. Ognuna di queste metriche viene restituita sia in termini di numero di byte sia in termini di numero di entità:

• workEstimated mostra il numero totale stimato di byte e documenti che verrà elaborato da un'operazione. Firestore potrebbe omettere questa metrica se non riesce a fare una stima.

• workCompleted mostra il numero di byte e documenti elaborati fino a quel momento. Al termine dell'operazione, il valore mostra il numero totale di byte e documenti effettivamente elaborati, che potrebbe essere superiore al valore di workEstimated.

Dividi workCompleted per workEstimated per una stima approssimativa dei progressi. Questa stima potrebbe non essere precisa, in quanto dipende dalla raccolta delle statistiche con ritardo.

Annullare un'operazione

gcloud firestore operations cancel [OPERATION_NAME]

L'annullamento di un'operazione in esecuzione non annulla l'operazione. Un'operazione di esportazione annullata lascerà i documenti già esportati in Cloud Storage, mentre un'operazione di importazione annullata lascerà invariati gli aggiornamenti già apportati al database. Non puoi importare un'esportazione completata parzialmente.

Eliminare un'operazione

Utilizza il comando gcloud firestore operations delete per rimuovere un'operazione dall'elenco delle operazioni recenti. Questo comando non elimina i file di esportazione da Cloud Storage.

gcloud firestore operations delete [OPERATION_NAME]

Fatturazione e prezzi per le operazioni di esportazione e importazione

Prima di utilizzare il servizio di esportazione e importazione gestito, devi attivare la fatturazione per il tuo progetto Google Cloud.

Le operazioni di esportazione e importazione vengono addebitate per letture e scritture dei documenti alle tariffe indicate nella pagina Prezzi di Firestore. Le operazioni di esportazione comportano un'operazione di lettura per ogni documento esportato. Le operazioni di importazione comportano un'operazione di scrittura per ogni documento importato.

I file di output archiviati in Cloud Storage vengono conteggiati ai fini dei costi di archiviazione dei dati di Cloud Storage.

I costi delle operazioni di esportazione e importazione non vengono considerati ai fini del limite di spesa. Le operazioni di esportazione o importazione non attiveranno gli avvisi relativi al budget di Google Cloud fino al termine. Analogamente, le letture e le scritture eseguite durante un'operazione di esportazione o importazione vengono applicate alla tua quota giornaliera al termine dell'operazione. Le operazioni di esportazione e importazione non influiscono sull'utilizzo mostrato nella sezione relativa all'utilizzo della console.

Visualizzare i costi di esportazione e importazione

Le operazioni di esportazione e importazione applicano l'etichetta goog-firestoremanaged:exportimport alle operazioni fatturate. Nella pagina Report di fatturazione Cloud, puoi utilizzare questa etichetta per visualizzare i costi relativi alle operazioni di importazione ed esportazione:

Esporta in BigQuery

Puoi caricare i dati da un'esportazione di Firestore in BigQuery, ma solo se hai specificato un filtro collection-ids. Consulta Caricare i dati dalle esportazioni di Firestore.

Limite di colonne BigQuery

BigQuery impone un limite di 10.000 colonne per tabella. Le operazioni di esportazione di Firestore generano uno schema della tabella BigQuery per ogni gruppo di raccolte. In questo schema, ogni nome di campo univoco all'interno di un gruppo di raccolte diventa una colonna dello schema.

Se lo schema BigQuery di un gruppo di raccolte supera le 10.000 colonne, l'operazione di esportazione di Firestore tenta di rimanere al di sotto del limite di colonne trattando i campi mappa come byte. Se questa conversione riduce il numero di colonne a meno di 10.000, puoi caricare i dati in BigQuery, ma non puoi eseguire query sui campi secondari all'interno dei campi mappa. Se il numero di colonne supera ancora 10.000, l'operazione di esportazione non genera uno schema BigQuery per il gruppo di raccolte e non puoi caricarne i dati in BigQuery.

File di formato ed esportazione dei metadati

L'output di un'esportazione gestita utilizza il formato del log LevelDB.

File di metadati

Un'operazione di esportazione crea un file di metadati per ogni gruppo di raccolte specificato. I file di metadati sono in genere denominati ALL_NAMESPACES_KIND_[COLLECTION_GROUP_ID].export_metadata.

I file di metadati sono buffer di protocollo e puoi decodificarli con il protoc compilatore di protocolli. Ad esempio, puoi decodificare un file di metadati per determinare i gruppi di raccolte contenuti nei file di esportazione:

protoc --decode_raw < export0.export_metadata

Migrazione dell'agente di servizio

Firestore utilizza un agente di servizio Firestore per autorizzare le operazioni di importazione e esportazione anziché l'account di servizio App Engine. L'agente di servizio e l'account di servizio utilizzano le seguenti convenzioni di denominazione:

Agente di servizio Firestore

service-PROJECT_NUMBER@gcp-sa-firestore.iam.gserviceaccount.com

In precedenza, Firestore utilizzava l'account di servizio predefinito di App Engine anziché l'agente di servizio Firestore. Se il tuo database utilizza ancora l'account di servizio App Engine per importare o esportare dati, ti consigliamo di seguire le istruzioni riportate in questa sezione per eseguire la migrazione all'utilizzo dell'agente di servizio Firestore.

Service account App Engine

PROJECT_ID@appspot.gserviceaccount.com

L'agente di servizio Firestore è preferibile perché è specifico per Firestore. L'account di servizio App Engine è condiviso da più di un servizio.

Visualizza l'account di autorizzazione

Puoi visualizzare l'account utilizzato dalle operazioni di importazione ed esportazione per autorizzare le richieste dalla pagina Importa/Esporta nella console Google Cloud. Puoi anche controllare se il tuo database utilizza già l'agente di servizio Firestore.

1. Nella console Google Cloud, vai alla pagina Database.

   Vai a Database

2. Seleziona il database richiesto dall'elenco dei database.

3. Nel menu di navigazione, fai clic su Importazione/esportazione.

4. Visualizza l'account di autorizzazione accanto all'etichetta I job di importazione/esportazione vengono eseguiti come.

Se il tuo progetto non utilizza l'agente di servizio Firestore, puoi eseguire la migrazione all'agente di servizio Firestore utilizzando una di queste tecniche:

• Esegui la migrazione di un progetto controllando e aggiornando le autorizzazioni dei bucket Cloud Storage (opzione consigliata).
• Aggiungi un vincolo della policy a livello di organizzazione che interessa tutti i progetti all'interno dell'organizzazione.

La prima di queste tecniche è preferibile perché localizza l'ambito dell'effetto a un singolo progetto Firestore. La seconda tecnica non è preferita perché non esegue la migrazione delle autorizzazioni dei bucket Cloud Storage esistenti. Tuttavia, offre la conformità alla sicurezza a livello di organizzazione.

Esegui la migrazione controllando e aggiornando le autorizzazioni del bucket Cloud Storage

La procedura di migrazione prevede due passaggi:

1. Aggiorna le autorizzazioni del bucket Cloud Storage. Per maggiori dettagli, consulta la sezione che segue.
2. Conferma la migrazione all'agente di servizio Firestore.

Autorizzazioni del bucket dell'agente di servizio

Per qualsiasi operazione di esportazione o importazione che utilizza un bucket Cloud Storage in un altro progetto, devi concedere all'agente di servizio Firestore le autorizzazioni per quel bucket. Ad esempio, le operazioni che spostano i dati in un altro progetto devono accedere a un bucket in quel progetto. In caso contrario, queste operazioni non andranno a buon fine dopo la migrazione all'agente di servizio Firestore.

I flussi di lavoro di importazione ed esportazione che rimangono nello stesso progetto non richiedono modifiche alle autorizzazioni. Per impostazione predefinita, l'agente di servizio Firestore può accedere ai bucket nello stesso progetto.

Aggiorna le autorizzazioni per i bucket Cloud Storage di altri progetti per dare accesso all'agente di servizioservice-PROJECT_NUMBER@gcp-sa-firestore.iam.gserviceaccount.com. Concedi all'agente di servizio il ruolo Firestore Service Agent.

Il ruolo Firestore Service Agent concede le autorizzazioni di lettura e scrittura per un bucket Cloud Storage. Se devi concedere solo autorizzazioni di lettura o di scrittura, utilizza un ruolo personalizzato.

La procedura di migrazione descritta nella sezione seguente ti aiuta a identificare i bucket Cloud Storage che potrebbero richiedere aggiornamenti delle autorizzazioni.

Esegui la migrazione di un progetto all'agente di servizio Firestore

Completa i seguenti passaggi per eseguire la migrazione dall'account di servizio App Engine all'agente di servizio Firestore. Una volta completata, la migrazione non può essere annullata.

1. Nella console Google Cloud, vai alla pagina Database.

   Vai a Database

2. Seleziona il database richiesto dall'elenco dei database.

3. Nel menu di navigazione, fai clic su Importazione/esportazione.

4. Se non è ancora stata eseguita la migrazione del progetto all'agente di servizio Firestore, viene visualizzato un banner che descrive la migrazione e un pulsante Controlla stato del bucket. Il passaggio successivo ti aiuta a identificare e risolvere potenziali errori di autorizzazione.

   Fai clic su Controlla lo stato del bucket.

   Viene visualizzato un menu con l'opzione per completare la migrazione e un elenco di bucket Cloud Storage. Potrebbero essere necessari alcuni minuti per completare il caricamento dell'elenco.

   Questo elenco include i bucket utilizzati di recente nelle operazioni di importazione ed esportazione, ma che al momento non forniscono autorizzazioni di lettura e scrittura all'agente di servizio Firestore.

5. Prendi nota del nome principale dell'agente di servizio Firestore del tuo progetto. Il nome dell'agente di servizio viene visualizzato sotto l'etichetta Agente di servizio a cui concedere l'accesso.

6. Per ogni bucket nell'elenco che utilizzerai per future operazioni di importazione o esportazione, completa i seguenti passaggi:

   1. Nella riga della tabella di questo bucket, fai clic su Correggi. Si apre la pagina delle autorizzazioni del bucket in una nuova scheda.

   2. Fai clic su Aggiungi.
   3. Nel campo Nuove entità, inserisci il nome dell'agente di servizio Firestore.
   4. Nel campo Seleziona un ruolo, seleziona Agenti di servizio > Agente di servizio Firestore.
   5. Fai clic su Salva.
   6. Torna alla scheda con la pagina Importa/Esporta di Firestore.
   7. Ripeti questi passaggi per gli altri bucket nell'elenco. Assicurati di visualizzare tutte le pagine dell'elenco.

7. Fai clic su Esegui la migrazione all'agente di servizio Firestore. Se hai ancora bucket con controlli delle autorizzazioni non riusciti, devi confermare la migrazione facendo clic su Esegui migrazione.

   Un avviso ti informa al termine della migrazione. La migrazione non può essere annullata.

Visualizzare lo stato della migrazione

Per verificare lo stato della migrazione del progetto:

1. Nella console Google Cloud, vai alla pagina Database.

   Vai a Database

2. Seleziona il database richiesto dall'elenco dei database.

3. Nel menu di navigazione, fai clic su Importazione/esportazione.

4. Cerca il principale accanto all'etichetta I job di importazione/esportazione vengono eseguiti come.

   Se l'entità è service-PROJECT_NUMBER@gcp-sa-firestore.iam.gserviceaccount.com, significa che è già stata eseguita la migrazione del progetto all'agente di servizio Firestore. La migrazione non può essere annullata.

   Se non è stata eseguita la migrazione del progetto, nella parte superiore della pagina viene visualizzato un banner con il pulsante Verifica stato del bucket. Per completare la migrazione, consulta Eseguire la migrazione all'agente di servizio Firestore.

Aggiungere un vincolo dei criteri a livello di organizzazione

• Imposta il seguente vincolo nei criteri della tua organizzazione:

  Richiedi l'agente di servizio Firestore per l'importazione/esportazione (firestore.requireP4SAforImportExport).

  Questo vincolo richiede che le operazioni di importazione ed esportazione utilizzino l'agente di servizio Firestore per autorizzare le richieste. Per impostare questo vincolo, consulta Creare e gestire i criteri dell'organizzazione .

L'applicazione di questo vincolo dei criteri dell'organizzazione non concede automaticamente le autorizzazioni per i bucket Cloud Storage appropriate all'agente di servizio Firestore.

Se la limitazione crea errori di autorizzazione per i flussi di lavoro di importazione o esportazione, puoi disattivarla per tornare a utilizzare l'account di servizio predefinito. Dopo aver controllato e aggiornato le autorizzazioni del bucket Cloud Storage, puoi riattivare il vincolo.