Ripristino di emergenza con snapshot dell'ambiente

Cloud Composer 3 | Cloud Composer 2 | Cloud Composer 1

Questa pagina descrive come utilizzare gli snapshot dell'ambiente per il recupero di emergenza.

Definizioni

Questa guida utilizza le seguenti definizioni:

• Disastro è un evento in cui Cloud Composer o altri componenti essenziali per il funzionamento del tuo ambiente non sono disponibili. Questo evento richiede un failover in una regione e in ambienti Cloud Composer diversi. La causa di un disastro potrebbe essere naturale o causata dall'uomo, inclusi i tempi di inattività delle regioni Google Cloud e le interruzioni della tua infrastruttura.
• Il recupero di emergenza (RE), nel contesto di Cloud Composer, è un processo di ripristino del funzionamento dell'ambiente dopo un'emergenza. Il processo prevede la ricreazione dell'ambiente, possibilmente in un'altra regione. Per ulteriori informazioni sul disaster recovery, consulta la Guida alla pianificazione del disaster recovery.
• L'ambiente principale è un ambiente Cloud Composer per il quale vuoi abilitare una funzionalità di RE.
• L'ambiente di failover è un ambiente Cloud Composer designato per rilevare le attività dall'ambiente principale.
• Lo scenario di ripristino di emergenza warm è una variante del ripristino di emergenza, in cui utilizzi un ambiente di failover di standby, che crei prima che si verifichi un disastro.
• Lo scenario di DR a freddo è una variante del disaster recovery, in cui crei un ambiente di failover dopo che si è verificato un disastro.
• Il DR cross-region è una variante del ripristino di emergenza caldo o freddo in cui l'ambiente principale e quello di failover si trovano in regioni diverse.

Informazioni sulla procedura di ripristino di emergenza

La procedura di ripristino di emergenza risolve il problema quando l'ambiente principale è diventato inoperativo (danneggiato o altrimenti non accessibile) a causa di un disastro.

Questa procedura presuppone che l'ambiente principale non venga riparato in loco per risolvere il problema. Invece, crei un secondo ambiente (di failover) affiancato. Questo ambiente funziona al posto dell'ambiente principale. In una fase successiva, potresti decidere di tornare all'ambiente principale o di continuare a utilizzare l'ambiente di failover.

Poiché la procedura utilizza un ambiente di failover, le modifiche verranno introdotte quando passi dall'ambiente principale. Le modifiche tra l'ambiente principale e quello di failover includono (l'elenco non è esaustivo):

• L'URL del server web sarà diverso. In questo modo viene modificato l'indirizzo dell'UI di Airflow e dell'endpoint API REST Airflow.

• L'URL del bucket dell'ambiente sarà diverso.

• Potrebbe essere necessario modificare la configurazione delle autorizzazioni di rete e di accesso.

Se utilizzi lo scenario di RE caldo, conosci in anticipo i valori per il server web, gli indirizzi dei bucket dell'ambiente e la configurazione di rete.

Prima di iniziare

• Cloud Composer supporta gli snapshot pianificati nelle versioni 2.0.32 e successive. Gli snapshot dell'ambiente sono supportati nelle versioni 2.0.9 e successive.

• Per creare snapshot, il database Airflow deve contenere meno di 20 GB di dati.

• Il numero totale di oggetti nelle cartelle /dags, /plugins e /data nel bucket dell'ambiente deve essere inferiore a 100.000 per creare snapshot.

• Se utilizzi il meccanismo XCom per trasferire i file, assicurati di utilizzarlo in conformità alle linee guida di Airflow. Il trasferimento di file di grandi dimensioni o di un numero elevato di file utilizzando XCom influisce sulle prestazioni del database Airflow e può causare errori durante il caricamento degli snapshot o l'upgrade dell'ambiente. Prendi in considerazione l'utilizzo di alternative come Cloud Storage per trasferire grandi volumi di dati.

Panoramica della preparazione

Entrambi gli scenari di DR includono i seguenti passaggi di preparazione:

1. Crea un ambiente di failover.

   • Nello scenario di RE caldo, mantieni disponibile questo ambiente.
   • Nello scenario di RE a freddo, crei questo ambiente solo per testare la procedura di ripristino di emergenzaa. Dopo aver completato la preparazione, puoi eliminare questo ambiente e ricrearlo dopo un disastro.

2. Crea un bucket per gli snapshot.

   • Il bucket deve essere disponibile nella regione di RE. Per il RE interregionale, il bucket degli snapshot deve essere multiregionale o trovarsi in una regione diversa dall'ambiente principale.

   • Verifica che i DAG possano accedere alle risorse regionali.

3. Configura la manutenzione del database.

4. Configura snapshot pianificati.

5. Testa la ripristino di emergenza recovery.

Panoramica del disaster recovery

Dopo un disastro:

1. (Solo DR a freddo) Crea un ambiente di failover.
2. Se possibile, impedisci all'ambiente principale di eseguire i DAG.
3. Carica uno snapshot dal bucket degli snapshot nell'ambiente di failover.
4. Se necessario, modifica la configurazione dell'ambiente di failover.
5. Decidi cosa fare con l'ambiente principale.

Passaggi di preparazione

Segui i passaggi descritti di seguito per configurare ripristino di emergenza per il tuo ambiente.

Crea un ambiente di failover

Crea un ambiente che funga da ambiente di failover.

Segui queste linee guida:

• L'ambiente principale e di failover deve utilizzare la stessa versione di Cloud Composer e Airflow.

• Nello scenario di RE caldo, assicurati di aggiornare ed eseguire l'upgrade di entrambi gli ambienti in modo sincronizzato. Ad esempio, se esegui l'upgrade dell'ambiente principale a una versione successiva di Cloud Composer o installi pacchetti PyPI, anche l'ambiente di failover deve avere queste modifiche.

• Ti consigliamo di creare l'ambiente di failover in una regione diversa da quella dell'ambiente principale. Di conseguenza, è possibile coprire una gamma più ampia di possibili scenari di disastro, ad esempio un disastro che influisce sulla disponibilità dell'intera regione.

• Ti consigliamo di utilizzare Terraform per creare ambienti principali e di failover, in modo che entrambi abbiano una configurazione coerente. Assicurati che le definizioni di Terraform per gli ambienti primario e di failover siano sincronizzate.

• Ti consigliamo di configurare l'ambiente di failover (ad esempio dimensioni dell'ambiente, numero di scheduler e autorizzazioni IAM) in modo che corrisponda alla configurazione dell'ambiente principale. Le autorizzazioni IAM per entrambi gli ambienti devono concedere l'accesso appropriato a utenti e snapshot.

Controllare la disponibilità delle risorse

I DAG possono operare su risorse esterne e l'accesso a queste risorse potrebbe dipendere dalla configurazione dell'ambiente (ad esempio, dalle autorizzazioni concesse aaccount di serviziont, dalla configurazione di rete o dal progetto dell'ambiente). Assicurati che queste risorse siano disponibili per l'ambiente di failover.

Un ambiente potrebbe interagire con alcune risorse esterne tramite connessioni archiviate in Airflow. Verifica se queste risorse devono essere modificate nell'ambiente di failover rispetto all'ambiente principale.

Crea un bucket di archiviazione per gli snapshot

Crea un nuovo bucket di archiviazione per gli snapshot dell'ambiente. Non utilizzare i bucket dell'ambiente per ripristino di emergenza, poiché la configurazione per la policy di conservazione e il ciclo di vita viene applicata a livello di bucket.

Assicurati che questo bucket di archiviazione disponga di autorizzazioni IAM, di un criterio di conservazione e di una configurazione del ciclo di vita impostati in modo da impedire l'eliminazione accidentale o l'accesso non autorizzato. Per ulteriori informazioni sulla configurazione di un bucket per gli snapshot, consulta Configurazione degli snapshot pianificati.

Puoi:

• Crea un bucket in un'altra regione.
• Crea un bucket multiregionale.

Configurare la manutenzione del database

Mantieni il database Airflow di dimensioni ridotte e entro il limite di dimensioni configurando la pulizia del database. In questo modo, il processo di salvataggio e caricamento degli snapshot è più rapido. Per creare snapshot, il database Airflow deve contenere meno di 20 GB di dati.

Configurare gli snapshot pianificati

Configura snapshot pianificati per l'ambiente principale.

Gli snapshot possono essere creati solo in un ambiente integro, quindi devono essere salvati prima che si verifichi il disastro.

Per saperne di più sul funzionamento degli snapshot, consulta Salvare e caricare snapshot dell'ambiente. Consulta la sezione Salvare uno snapshot dell'ambiente della documentazione per informazioni su dove trovare gli snapshot salvati.

(Facoltativo) Configura il monitoraggio per le operazioni di snapshot pianificate

Per gli snapshot pianificati con una frequenza di almeno una volta ogni 12 ore, puoi utilizzare Cloud Monitoring per ricevere un avviso quando uno snapshot non viene creato automaticamente.

Per le pianificazioni a frequenza inferiore, utilizza Google Cloud CLI per verificare i risultati delle operazioni di snapshot. Consulta Verificare le operazioni di salvataggio dello snapshot.

1. Nella console Google Cloud , vai alla pagina Monitoring.

   Vai a Monitoraggio

2. Nel riquadro di navigazione di Monitoring, seleziona notificationsAvvisi.
3. Se non hai creato i canali di notifica e vuoi ricevere le notifiche, fai clic su Modifica canali di notifica e aggiungi i tuoi canali di notifica. Torna alla pagina Avvisi dopo aver aggiunto i canali.
4. Nella pagina Avvisi, seleziona Crea criterio.
5. Per selezionare la metrica, espandi il menu Seleziona una metrica e poi procedi nel seguente modo:
   1. Per limitare il menu alle voci pertinenti, inserisci Composer Snapshot nella barra dei filtri. Se non vengono visualizzati risultati dopo aver filtrato il menu, disattiva l'opzione Mostra solo risorse e metriche attive.
   2. Per Tipo di risorsa, seleziona Ambiente Cloud Composer.
   3. Per Categoria metrica, seleziona Ambiente.
   4. Per la Metrica, seleziona Conteggio creazione snapshot.
   5. Seleziona Applica.
6. Fai clic su Aggiungi filtro e utilizza i menu a discesa per aggiungere i seguenti filtri:

   Filtro	Comparatore	Valore
   Etichetta risorsa > environment_name	=	Il nome dell'ambiente in cui vuoi monitorare gli snapshot pianificati.
   Etichetta monitor > risultato	=	SUCCEEDED

7. Nella sezione Trasforma i dati, imposta i seguenti attributi:
   • Per Finestra mobile, seleziona la finestra di monitoraggio per questo avviso. Questo valore influisce sulla configurazione della soglia nel passaggio successivo.

     Valore consigliato per il monitoraggio degli snapshot pianificati: 1 giorno.

   • In Funzione finestra temporale continua, seleziona Delta.
8. Fai clic su Avanti.
9. Le impostazioni nella pagina Configura attivatore di avvisi determinano quando viene attivato l'avviso. Completa questa pagina con le impostazioni nella tabella seguente.
   

   Campo	Valore
   Condition type	Threshold
   Alert trigger	Any time series violates
   Threshold position	Below threshold
   Threshold value	Il numero di snapshot pianificati che prevedi di salvare entro il periodo di tempo configurato come finestra temporale mobile per l'avviso. Calcola questo valore utilizzando la seguente formula: (rolling window in hours / schedule frequency in hours) - 1 Nota:la sottrazione di 1 ore nella formula serve a tenere conto dei diversi tempi di completamento degli snapshot. In questo modo si evita di generare falsi positivi se l'ultimo snapshot è ancora in esecuzione durante un controllo di monitoraggio. Esempio: Se utilizzi la finestra mobile consigliata di 1 giorno, e la frequenza della pianificazione è una volta ogni 2 ore, imposta questo valore su 11 (come da calcolo: 24 / 2 - 1 = 11). Se la programmazione funziona correttamente, in un periodo di 24 ore dovresti avere almeno 11 istantanee. In caso contrario, significa che un'operazione di snapshot non è stata completata correttamente e Cloud Monitoring attiva questo avviso.
   Condition name	Il nome personalizzato della condizione.

10. Fai clic su Avanti.
11. (Facoltativo) Per aggiungere notifiche al tuo criterio di avviso, fai clic su Canali di notifica. Nella finestra di dialogo, seleziona uno o più canali di notifica dal menu e fai clic su Ok.
12. (Facoltativo) Aggiorna la Durata chiusura automatica incidenti. Questo campo determina quando Monitoring chiude gli incidenti in assenza di dati delle metriche.
13. (Facoltativo) Fai clic su Documentazione e aggiungi tutte le informazioni che vuoi includere in un messaggio di notifica.
14. Fai clic su Nome avviso e inserisci un nome per il criterio di avviso.
15. Fai clic su Crea criterio.

Testa la procedura di ripristino di emergenza

Assicurati di testare la procedura di ripristino di emergenza dopo averla configurata e poi periodicamente. In questo modo puoi risolvere potenziali problemi che potrebbero influire sulla procedura diripristino di emergenzay effettiva.

Nello scenario di RE a freddo, puoi eliminare l'ambiente di failover dopo aver terminato di testare la procedura di ripristino di emergenza.

Verifica delle operazioni di salvataggio dello snapshot

Puoi utilizzare Google Cloud CLI per recuperare l'elenco delle operazioni di salvataggio dello snapshot e verificare se gli snapshot sono pronti per gli scenari di ripristino di emergenza.

Questo metodo è utile se salvi gli snapshot meno spesso di una volta ogni 12 ore. Per verificare gli snapshot salvati più frequentemente, è consigliabile configurare gli avvisi di Cloud Monitoring. Consulta Configurare il monitoraggio delle operazioni di snapshot pianificate.

gcloud composer operations list \
    --locations LOCATION \
    --filter="metadata.operationType=SAVE_SNAPSHOT AND 
    metadata.resource=projects/PROJECT_ID/locations/LOCATION/environments/ENVIRONMENT_ID"
    --format yaml

gcloud composer operations list \
    --locations us-central1 \
    --filter="metadata.operationType=SAVE_SNAPSHOT AND 
    metadata.resource=projects/my-project/locations/us-central1/environments/my-environment"
    --format yaml

Dopo un'emergenza

Esegui i passaggi descritti di seguito dopo un disastro per recuperare l'ambiente principale.

(Solo DR a freddo) Crea un ambiente di failover

Segui le istruzioni nella sezione Creare un ambiente di failover.

Impedire l'esecuzione di DAG nell'ambiente principale

Se possibile, impedisci all'ambiente principale di eseguire i DAG:

• Se l'ambiente principale è ancora accessibile, metti in pausa tutti i DAG.
• Se il bucket dell'ambiente principale è accessibile, sposta tutti i DAG dal bucket dell'ambiente o in una cartella al di fuori di /dags nel bucket dell'ambiente principale.

Carica uno snapshot nell'ambiente di failover

Carica uno snapshot dall'ambiente principale nell'ambiente di failover.

Una volta caricato lo snapshot nell'ambiente di failover, pianifica ed esegue le attività come se l'ambiente principale non avesse eseguito nulla dopo la creazione di uno snapshot. Tuttavia, alcune di queste attività potrebbero essere già state eseguite dall'ambiente principale. L'ambiente di failover non ha alcun modo per riconoscere quali attività sono state eseguite dopo la creazione dello snapshot e prima di un disastro. Di conseguenza, alcune attività potrebbero essere eseguite due volte (sia nell'ambiente principale sia in quello di failover). Ti consigliamo di rendere tutte le attività idempotenti e di creare gli snapshot pianificati ogni due ore.

(Se necessario) Regola la configurazione dell'ambiente di failover

In alcuni casi, potresti voler modificare la configurazione dell'ambiente di failover dopo aver caricato lo snapshot dell'ambiente principale.

Ad esempio, in uno scenario di RE a freddo, potrebbe essere necessario utilizzare un insieme diverso di variabili di ambiente Airflow nell'ambiente di failover. Come altro esempio, in uno scenarioRER caldo, potresti dover concedere autorizzazioni agli utenti nell'interfaccia utente di Airflow, in modo che possano accedere all'ambiente di failover.

Puoi apportare queste modifiche manualmente o preparare uno script shell con comandi che modificano la configurazione dell'ambiente di failover eseguendo i comandi gcloud composer environment update.

Decidi cosa fare con l'ambiente principale

Alcuni disastri potrebbero verificarsi perché l'ambiente principale non è raggiungibile, ma è ancora operativo o non funziona correttamente. Ad esempio, non puoi accedere all'ambiente principale tramite la rete a causa di un errore dell'infrastruttura. Un altro esempio è l'ambiente che funziona con alcuni errori o con capacità ridotta, ma alcuni DAG vengono comunque eseguiti.

Se l'ambiente originale è ancora in esecuzione, potrebbe generare costi direttamente correlati a Cloud Composer o ad altri servizi a cui si accede tramite i DAG, anche se è stato creato un nuovo ambiente in sostituzione. Questo ambiente può ancora eseguire alcuni DAG, pertanto alcune operazioni potrebbero essere eseguite due volte: nell'ambiente principale ancora in esecuzione e nell'ambiente di failover dopo il caricamento dello snapshot.

Se l'ambiente principale esiste, ma non funziona correttamente

L'ambiente principale può essere eliminato se tutti i dati pertinenti sono stati recuperati. Ad esempio, potresti voler recuperare dati non inclusi negli snapshot dell'ambiente, come la configurazione di rete o i contenuti del bucket dell'ambiente al di fuori delle cartelle /dags e /plugins.

Se l'ambiente principale torna accessibile e integro

Se l'ambiente principale è stato inaccessibile solo temporaneamente e torna accessibile e integro, puoi scegliere un approccio:

• Continua a utilizzare l'ambiente di failover.
• Torna all'ambiente principale.

Per continuare a utilizzare l'ambiente di failover:

1. Se l'ambiente principale esegue ancora i DAG, mettili in pausa il prima possibile.
2. Assicurati che tutti i dati pertinenti vengano recuperati, quindi elimina l'ambiente principale.
3. Ripeti i passaggi di preparazione al ripristino di RE;ambiente di failover, ad esempio la configurazione di snapshot pianificati.

Per tornare all'ambiente principale:

1. Metti in pausa tutti i DAG nell'ambiente di failover.
2. Attendi il completamento di tutte le esecuzioni del DAG nell'ambiente di failover o arrestale.
3. Salva uno snapshot dell'ambiente di failover.
4. Carica questo snapshot nell'ambiente principale.
5. Riattiva i DAG nell'ambiente principale.
6. Se necessario, elimina l'ambiente di failover.

Passaggi successivi

• Configurare gli snapshot pianificati
• Creare ambienti