Gestire la conservazione dei dati con le policy TTL

Questa pagina descrive come utilizzare la console Google Cloud e Google Cloud CLI per configurare le norme Time To Live (TTL). Prima di leggere questa pagina, devi comprendere il modello dei dati della modalità Datastore.

Panoramica del Time-To-Live

Utilizza le policy TTL per rimuovere automaticamente i dati inattivi dai tuoi database. Un criterio TTL designa una determinata proprietà come ora di scadenza per le entità di un determinato tipo. Con il TTL, puoi ridurre i costi di archiviazione eliminando i dati obsoleti. In genere i dati vengono eliminati entro 24 ore dalla data di scadenza.

Prezzi

Le operazioni di eliminazione TTL vengono conteggiate ai fini dei costi di eliminazione delle entità. Per i prezzi delle operazioni di eliminazione, consulta Prezzi di Firestore in modalità Datastore.

Limiti e vincoli

  • Puoi contrassegnare una sola proprietà per tipo come proprietà TTL.
  • Puoi avere un massimo di 500 criteri TTL.

Eliminazione TTL

Tieni presente i seguenti comportamenti chiave dell'eliminazione basata sul TTL:

  • L'eliminazione tramite TTL non è un processo istantaneo. Le entità scadute continuano a essere visualizzate nelle query e nelle richieste di ricerca finché il processo TTL non le elimina effettivamente. TTL scambia la tempestività dell'eliminazione con il vantaggio di un costo totale di proprietà ridotto per le eliminazioni. In genere i dati vengono eliminati entro 24 ore dalla data di scadenza.

  • L'eliminazione di un'entità tramite TTL non comporta l'eliminazione delle entità discendenti.

  • L'applicazione di un criterio TTL a un tipo esistente comporta l'eliminazione in blocco di tutti i dati scaduti in base al nuovo criterio TTL. Tieni presente che anche questa eliminazione collettiva non è istantanea e dipende dalla quantità di dati esistenti per quel tipo.

  • Se un'entità ha un tempo di scadenza nel passato e aggiungi un nuovo criterio TTL al tipo, l'entità verrà eliminata entro 24 ore dalla fine della configurazione e dall'attivazione del criterio TTL.

  • Il TTL non elimina necessariamente le entità nello stesso ordine dei relativi timestamp di scadenza.

  • Le eliminazioni non vengono eseguite in modo transazionale. Le entità con la stessa ora di scadenza non vengono necessariamente eliminate contemporaneamente. Se hai bisogno di questo comportamento, esegui le eliminazioni utilizzando una libreria client.

  • La modalità Datastore rispetterà sempre il campo TTL più recente per determinare la scadenza. Ad esempio, se il campo TTL di un'entità scaduta ma non ancora eliminata viene aggiornato a una data successiva, l'entità non scadrà e verrà utilizzata la nuova data.

  • La modalità Datastore farà scadere un documento solo quando il campo TTL è impostato su un tipo Timestamp. Se il campo non è presente o è impostato su un valore come null, le scadenze possono essere disattivate per ogni documento.

  • Il TTL è progettato per ridurre al minimo l'impatto sulle altre attività del database. Le eliminazioni basate sul TTL vengono trattate con una priorità inferiore. Sono in atto anche altre strategie per attenuare i picchi di traffico dovuti alle eliminazioni basate sul TTL.

Proprietà e indici TTL

Una proprietà TTL può essere indicizzata o non indicizzata. Tuttavia, poiché una proprietà TTL è un timestamp, l'indicizzazione della proprietà può influire sul rendimento a tassi di traffico più elevati. L'indicizzazione di una proprietà timestamp non è una best practice e può creare hotspot. Gli hotspot sono tassi elevati di lettura, scrittura ed eliminazione in un intervallo di chiavi ristretto.

Per impostazione predefinita, Datastore crea un indice integrato per tutte le proprietà. Puoi escludere una proprietà dagli indici per disattivare gli indici su una proprietà TTL.

Autorizzazioni

Il principal che configura una policy TTL richiede la seguente autorizzazione nel progetto:

  • Per visualizzare le policy TTL sono necessarie le autorizzazioni datastore.indexes.list e datastore.indexes.get.
  • Per modificare i criteri TTL è necessaria l'autorizzazione datastore.indexes.update.
  • Il controllo dello stato delle operazioni TTL richiede datastore.operations.list e datastore.operations.get.

Per i ruoli che assegnano queste autorizzazioni, vedi Ruoli Identity and Access Management di Datastore.

Prima di iniziare

Prima di utilizzare gcloud CLI per gestire i criteri TTL, utilizza il comando gcloud components update per aggiornare i componenti all'ultima versione disponibile:

gcloud components update

Crea una policy TTL

Quando crei un criterio TTL, designi una proprietà dell'entità come ora di scadenza per le entità di un tipo. Il criterio TTL si applica al tipo specificato in tutti gli spazi dei nomi.

TTL utilizza una proprietà specificata per identificare le entità idonee all'eliminazione. Questa proprietà TTL deve essere di tipo Date and time. Puoi selezionare una proprietà già esistente o designarne una che prevedi di aggiungere in un secondo momento.

Prima di impostare il valore della proprietà TTL, considera quanto segue:

  • Il valore della proprietà TTL può essere un orario nel futuro, nel presente o nel passato. Se il valore è un'ora nel passato, l'entità è immediatamente idonea all'eliminazione. Ad esempio, puoi creare un criterio TTL con la proprietà expireAt, che poi aggiungi alle entità esistenti.

  • L'utilizzo di qualsiasi altro tipo di dati o la mancata impostazione del valore della proprietà TTL disattiverà il TTL per la singola entità.

Per creare una policy TTL:

Google Cloud Console

  1. Nella console Google Cloud , vai alla pagina Database.

    Vai a Database

  2. Seleziona il database richiesto dall'elenco.

  3. Nel menu di navigazione, fai clic su Time to live.

  4. Fai clic su Crea criterio.

  5. Inserisci un nome di tipo e un nome di proprietà timestamp.

  6. Fai clic su Crea.

La console torna alla pagina Time to live. Se l'operazione viene avviata correttamente, la pagina aggiunge una voce alla tabella delle norme TTL. In caso di errore, la pagina mostra un messaggio di errore.

gcloud

  1. In the Google Cloud console, activate Cloud Shell.

    Activate Cloud Shell

    At the bottom of the Google Cloud console, a Cloud Shell session starts and displays a command-line prompt. Cloud Shell is a shell environment with the Google Cloud CLI already installed and with values already set for your current project. It can take a few seconds for the session to initialize.

  2. Utilizza il comando firestore fields ttls update per configurare una policy TTL. Aggiungi il flag --async per impedire a gcloud CLI di attendere il completamento dell'operazione.

    gcloud firestore fields ttls update ttl_field --collection-group=collection_group_name --enable-ttl
    

Anche su un database vuoto, l'attivazione di una norma TTL può richiedere dieci minuti o più. Dopo aver avviato un'operazione, la chiusura del terminale non la annulla.

Visualizzare le policy TTL

Per visualizzare le norme TTL e i relativi stati:

Google Cloud Console

  1. Nella console Google Cloud , vai alla pagina Database.

    Vai a Database

  2. Seleziona il database richiesto dall'elenco.

  3. Nel menu di navigazione, fai clic su Time to live.

La console elenca le norme TTL per il tuo database e include lo stato di ciascuna norma.

gcloud

  1. In the Google Cloud console, activate Cloud Shell.

    Activate Cloud Shell

    At the bottom of the Google Cloud console, a Cloud Shell session starts and displays a command-line prompt. Cloud Shell is a shell environment with the Google Cloud CLI already installed and with values already set for your current project. It can take a few seconds for the session to initialize.

  2. Utilizza il comando firestore fields ttls list per configurare una policy TTL. Il comando seguente elenca tutte le norme TTL.

    gcloud firestore fields ttls list
    

    Per elencare le norme TTL in base a un tipo specifico, utilizza quanto segue:

    gcloud firestore fields ttls list  --collection-group=collection_group_name
    

Visualizzare i dettagli dell'operazione

Puoi utilizzare gcloud CLI per visualizzare ulteriori dettagli su una norma TTL che si trova nello stato CREATING.

Utilizza il comando operations list per visualizzare tutte le operazioni in esecuzione e quelle completate di recente:

gcloud firestore operations list

La risposta include una stima dell'avanzamento dell'operazione.

Disattivare una policy TTL

Segui i passaggi riportati di seguito per disabilitare una norma TTL.

Google Cloud Console

  1. Nella console Google Cloud , vai alla pagina Database.

    Vai a Database

  2. Seleziona il database richiesto dall'elenco.

  3. Nel menu di navigazione, fai clic su Time to live.

  4. Nella tabella delle policy TTL, individua la riga relativa alla policy TTL. In questa riga della tabella, fai clic sul pulsante Elimina (cestino).

  5. Conferma l'operazione facendo clic su Elimina.

La console torna alla pagina Time to live. In caso di esito positivo, Datastore rimuove la policy TTL dalla tabella.

gcloud

  1. In the Google Cloud console, activate Cloud Shell.

    Activate Cloud Shell

    At the bottom of the Google Cloud console, a Cloud Shell session starts and displays a command-line prompt. Cloud Shell is a shell environment with the Google Cloud CLI already installed and with values already set for your current project. It can take a few seconds for the session to initialize.

  2. Utilizza il comando firestore fields ttls update per configurare una policy TTL. Aggiungi il flag --async per impedire a gcloud CLI di attendere il completamento dell'operazione.

    gcloud firestore fields ttls update ttl_field --collection-group=collection_group_name --disable-ttl
    

Monitora le eliminazioni TTL

Puoi utilizzare Cloud Monitoring per visualizzare le metriche relative alle eliminazioni basate sul TTL. Datastore fornisce le seguenti metriche per il TTL:

datastore.googleapis.com/entity/ttl_deletion_count Conteggio eliminazioni TTL

Il conteggio totale delle entità eliminate dalle norme TTL.

datastore.googleapis.com/entity/ttl_expiration_to_deletion_delays Scadenza TTL ai ritardi di eliminazione

Tempo trascorso tra la scadenza di un'entità in base a un criterio TTL e la sua effettiva eliminazione.

Per configurare una dashboard con le metriche di Datastore, vedi Gestisci dashboard personalizzate e Aggiungi widget alla dashboard.