Passaggio 6: esegui il deployment

Questa pagina descrive il sesto passaggio per il deployment di Cortex Framework Data Foundation, il componente principale di Cortex Framework. In questo passaggio, esegui il deployment di Cortex Framework Data Foundation.

Procedura di compilazione

Dopo aver configurato il file config.json come descritto nel passaggio 5: configura la distribuzione, segui queste istruzioni per creare il processo.

  1. Esegui questo comando per posizionarti nel repository clonato:

    cd cortex-data-foundation
    
  2. Esegui il comando di build con il bucket dei log di destinazione:

     gcloud builds submit \
     --substitutions=_GCS_BUCKET=LOGS_BUCKET,\
     _BUILD_ACCOUNT='projects/SOURCE_PROJECT/serviceAccounts/SERVICE_ACCOUNT@SOURCE_PROJECT.iam.gserviceaccount.com'
    

    Sostituisci quanto segue:

    • LOGS_BUCKET con il nome del bucket per l'archiviazione dei log. Il service account Cloud Build deve avere l'accesso per scriverli qui.
    • SOURCE_PROJECT con il progetto di origine.
    • SERVICE_ACCOUNT con l'ID account di servizio.
  3. Segui il processo di compilazione principale esaminando i log nel terminale o nella console Cloud Build, se disponi delle autorizzazioni sufficienti. Per ulteriori riferimenti, consulta le immagini seguenti.

    Avanzamento dei log

    Figura 1. Esempio di visualizzazione dell'avanzamento dei log nel terminale.

    Avanzamento dei log

    Figura 2. Esempio di visualizzazione dell'avanzamento dei log nella console.
  4. Tieni traccia dei passaggi di creazione secondari attivati dalla console Cloud Build o all'interno dei log creati dai passaggi. Per ulteriori riferimenti, consulta le immagini che seguono.

    Monitoraggio dei passaggi di build figlio

    Figura 3. Esempio di monitoraggio dei passaggi di compilazione secondari nella console.

    Monitoraggio dei passaggi di build figlio

    Figura 4. Esempio di monitoraggio dei passaggi della build secondaria nei log.
  5. Identifica eventuali problemi con le singole build. Correggi gli errori, se presenti. Ti consigliamo di incollare l'SQL generato in BigQuery per identificare e correggere gli errori. La maggior parte degli errori sono correlati ai campi selezionati, ma non presenti nell'origine replicata. La UI di BigQuery aiuta a identificarli e commentarli.

    Identificare i problemi

    Figura 5. Esempio di identificazione dei problemi tramite i log di Cloud Build.

Sposta i file nel bucket DAG di Cloud Composer (Airflow)

Se hai scelto di generare file di integrazione o CDC e disponi di un'istanza di Cloud Composer (Airflow), puoi spostarli nel bucket finale con il seguente comando:

  gcloud storage -m cp -r  gs://OUTPUT_BUCKET/dags/ gs://COMPOSER_DAG_BUCKET/
  gcloud storage -m cp -r  gs://OUTPUT_BUCKET/data/ gs://COMPOSER_DAG_BUCKET/

Sostituisci quanto segue:

  • OUTPUT_BUCKET con il bucket di output.
  • COMPOSER_DAG_BUCKET con il bucket DAG di Cloud Composer (Airflow).

Personalizzare e prepararsi per l'upgrade

Molti clienti aziendali hanno personalizzazioni specifiche dei propri sistemi, ad esempio documenti aggiuntivi in un flusso o tipi specifici di record. Questi sono specifici per ogni cliente e configurati dagli analisti funzionali in base alle esigenze aziendali.

Cortex utilizza i tag ## CORTEX-CUSTOMER nel codice per indicare i punti in cui è probabile che siano necessarie queste personalizzazioni. Utilizza il comando grep -R CORTEX-CUSTOMER per controllare tutti i commenti ## CORTEX-CUSTOMER che devi personalizzare.

Oltre ai tag CORTEX-CUSTOMER, potrebbe essere necessario personalizzare ulteriormente quanto segue eseguendo il commit di tutte queste modifiche con un tag chiaro nel codice al tuo repository forked o clonato:

  • Aggiunta di regole aziendali.
  • Aggiunta di altri set di dati e unione con viste o tabelle esistenti
  • Riutilizzare i modelli forniti per chiamare API aggiuntive.
  • Modifica degli script di deployment.
  • Applicare ulteriori concetti di data mesh.
  • Adattamento di alcune tabelle o API di destinazione per includere campi aggiuntivi non inclusi nello standard.

Adotta una pipeline CI/CD adatta alla tua organizzazione per mantenere questi miglioramenti testati e la tua soluzione complessiva in uno stato affidabile e solido. Una pipeline può riutilizzare gli script cloudbuild.yaml per attivare periodicamente il deployment end-to-end o in base alle operazioni Git, a seconda del repository scelto, mediante l'automazione delle build.

Utilizza il fileconfig.json per definire diversi insiemi di progetti e set di dati per gli ambienti di sviluppo, gestione temporanea e produzione. Utilizza test automatici con i tuoi dati di esempio per assicurarti che i modelli producano sempre ciò che ti aspetti.

Tagga le tue modifiche in modo visibile nel fork o nella clonazione di un repository insieme ad alcune automazioni di deployment e test per eseguire gli upgrade.

Assistenza

Se riscontri problemi o hai richieste di funzionalità relative a questi modelli o deployer, crea un problema nel repository Cortex Framework Data Foundation. Per facilitare la raccolta delle informazioni necessarie, esegui support.sh dalla directory clonata. Questo script ti guida attraverso una serie di passaggi per aiutarti a risolvere i problemi.

Per eventuali richieste o problemi relativi a Cortex Framework, vai alla sezione Assistenza nella pagina Panoramica.

Looker Blocks e dashboard

Sfrutta i blocchi e le dashboard di Looker disponibili. Si tratta essenzialmente di modelli di dati riutilizzabili per pattern di analisi e origini dati comuni per Cortex Framework. Per ulteriori informazioni, consulta la panoramica di Looker Blocks e delle dashboard.