Implementare Datastream e Dataflow per l'analisi

Requisiti

Datastream offre una serie di opzioni di origine, opzioni di destinazione e metodi di connettività di rete.

Per questo tutorial, presupponiamo che tu stia utilizzando un database MySQL autonomo e un servizio Cloud Storage di destinazione. Per il database di origine, dovresti essere in grado di configurare la rete per aggiungere una regola firewall in entrata. Il database di origine può essere on-premise o in un provider cloud. Per la destinazione Cloud Storage, non è richiesta alcuna configurazione della connettività.

Poiché non possiamo conoscere i dettagli del tuo ambiente, non possiamo fornire passaggi dettagliati per la configurazione della rete.

Per questo tutorial, seleziona Lista consentita IP come metodo di connettività di rete. L'inserimento degli indirizzi IP nella lista consentita è una funzionalità di sicurezza spesso utilizzata per limitare e controllare l'accesso ai dati nel database di origine agli utenti attendibili. Puoi utilizzare le liste consentite di indirizzi IP per creare elenchi di indirizzi IP o intervalli IP attendibili da cui i tuoi utenti e altri servizi come Datastream possono accedere a questi dati. Google Cloud Per utilizzare le liste consentite di indirizzi IP, devi aprire il database o il firewall di origine alle connessioni in entrata da Datastream.

Crea un bucket in Cloud Storage

Crea un bucket di destinazione in Cloud Storage in cui Datastream trasmette schemi, tabelle e dati da un database MySQL di origine.

1. Nella console Google Cloud , vai alla pagina Browser per Cloud Storage.

   Vai alla pagina Browser

2. Fai clic su Crea bucket. Viene visualizzata la pagina Crea un bucket.

3. Nel campo di testo della sezione Assegna un nome al bucket, inserisci un nome univoco per il bucket, quindi fai clic su Continua.

4. Accetta le impostazioni predefinite per ogni regione rimanente della pagina. Alla fine di ogni regione, fai clic su Continua.

5. Fai clic su Crea.

Attiva le notifiche Pub/Sub per il bucket Cloud Storage

In questa sezione, attivi le notifiche Pub/Sub per il bucket Cloud Storage che hai creato. In questo modo, configuri il bucket in modo che invii una notifica a Dataflow di tutti i nuovi file che Datastream scrive nel bucket. Questi file contengono le modifiche ai dati che Datastream trasmette in streaming da un database MySQL di origine al bucket.

1. Accedi al bucket Cloud Storage che hai creato. Viene visualizzata la pagina Dettagli bucket.

2. Fai clic su terminal Attiva Cloud Shell.

3. Al prompt, inserisci questo comando:

   gcloud storage buckets notifications create gs://bucket-name --topic=my_integration_notifs --payload-format=json --object-prefix=integration/tutorial/

4. (Facoltativo) Se viene visualizzata una finestra Autorizza Cloud Shell, fai clic su Autorizza.

5. Verifica di visualizzare le seguenti righe di codice:

   Created Cloud Pub/Sub topic projects/project-name/topics/my_integration_notifs
   Created notification config projects/_/buckets/bucket-name/notificationConfigs/1
   

6. Nella console Google Cloud , vai alla pagina Argomenti di Pub/Sub.

   Vai alla pagina Argomenti

7. Fai clic sull'argomento my_integration_notifs che hai creato.

8. Nella pagina my_integration_notifs, vai in fondo alla pagina. Verifica che la scheda Abbonamenti sia attiva e che venga visualizzato il messaggio Nessun abbonamento da visualizzare.

9. Fai clic su Crea sottoscrizione.

10. Nel menu visualizzato, seleziona Crea sottoscrizione.

11. Nella pagina Aggiungi sottoscrizione all'argomento:

    1. Nel campo ID sottoscrizione, inserisci my_integration_notifs_sub.
    2. Imposta il valore Scadenza conferma su 120 secondi. In questo modo, Dataflow ha tempo sufficiente per riconoscere i file che ha elaborato e contribuisce a migliorare il rendimento complessivo del job Dataflow. Per maggiori informazioni sulle proprietà delle sottoscrizioni Pub/Sub, consulta Proprietà delle sottoscrizioni.
    3. Lascia invariati tutti gli altri valori predefiniti nella pagina.
    4. Fai clic su Crea.

Più avanti in questo tutorial, creerai un job Dataflow. Nell'ambito della creazione di questo job, assegni a Dataflow il ruolo di abbonato alla sottoscrizione my_integration_notifs_sub. In questo modo, Dataflow può ricevere notifiche sui nuovi file che Datastream scrive in Cloud Storage, elaborare i file e trasferire le modifiche ai dati in BigQuery.

Crea set di dati in BigQuery

In questa sezione, crei set di dati in BigQuery. BigQuery utilizza i set di dati per contenere i dati che riceve da Dataflow. Questi dati rappresentano le modifiche nel database MySQL di origine che Datastream trasmette in streaming nel tuo bucket Cloud Storage.

1. Vai alla pagina SQL Workspace per BigQuery nella Google Cloud console.

   Vai alla pagina dell'area di lavoro SQL

2. Nel riquadro Explorer, accanto al nome del progetto Google Cloud , fai clic su more_vert Visualizza azioni.

3. Nel menu visualizzato, seleziona Crea set di dati.

4. Nella finestra Crea set di dati:

   1. Nel campo ID set di dati, inserisci un ID per il set di dati. Per questo tutorial, inserisci My_integration_dataset_log nel campo.
   2. Lascia invariati tutti gli altri valori predefiniti nella finestra.
   3. Fai clic su Crea set di dati.

5. Nel riquadro Explorer, accanto al nome del progetto Google Cloud , fai clic su arrow_right Espandi nodo e verifica di visualizzare il set di dati che hai creato.

6. Utilizza i passaggi di questa procedura per creare un secondo set di dati: My_integration_dataset_final.

7. Accanto a ogni set di dati, espandi arrow_right Espandi nodo.

8. Verifica che ogni set di dati sia vuoto.

Dopo che Datastream trasmette in streaming le modifiche ai dati dal database di origine al bucket Cloud Storage, un job Dataflow elabora i file contenenti le modifiche e le trasferisce nei set di dati BigQuery.

Crea profili di connessione in Datastream

In questa sezione, crei profili di connessione in Datastream per un database di origine e una destinazione. Durante la creazione dei profili di connessione, seleziona MySQL come tipo di profilo per il profilo di connessione di origine e Cloud Storage come tipo di profilo per il profilo di connessione di destinazione.

Datastream utilizza le informazioni definite nei profili di connessione per connettersi sia all'origine sia alla destinazione, in modo da poter trasmettere in streaming i dati dal database di origine al bucket di destinazione in Cloud Storage.

Crea un profilo di connessione di origine per il database MySQL

1. Nella console Google Cloud , vai alla pagina Profili di connessione per Datastream.

   Vai alla pagina Profili di connessione

2. Fai clic su Crea profilo.

3. Per creare un profilo di connessione di origine per il database MySQL, nella pagina Crea un profilo di connessione, fai clic sul tipo di profilo MySQL.

4. Nella sezione Definisci impostazioni di connessione della pagina Crea profilo MySQL, fornisci le seguenti informazioni:

   • Nel campo Nome profilo di connessione, inserisci My Source Connection Profile.
   • Mantieni l'ID profilo di connessione generato automaticamente.

   • Seleziona la regione in cui vuoi archiviare il profilo di connessione.

   • Inserisci i dettagli della connessione:

     • Nel campo Nome host o IP, inserisci un nome host o un indirizzo IP pubblico che Datastream possa utilizzare per la connessione al database di origine. Stai fornendo un indirizzo IP pubblico perché utilizzi la lista consentita IP come metodo di connettività di rete per questo tutorial.
     • Nel campo Porta, inserisci il numero di porta riservato al database di origine. Per un database MySQL, la porta predefinita è in genere 3306.
     • Inserisci un Nome utente e una Password per l'autenticazione al database di origine.

5. Nella sezione Definisci impostazioni di connessione, fai clic su Continua. La sezione Proteggi la connessione all'origine della pagina Crea profilo MySQL è attiva.

6. Nel menu Tipo di crittografia, seleziona Nessuno. Per ulteriori informazioni su questo menu, vedi Creare un profilo di connessione per il database MySQL.

7. Nella sezione Proteggi la connessione all'origine, fai clic su Continua. La sezione Definisci metodo di connettività della pagina Crea profilo MySQL è attiva.

8. Nel menu a discesa Metodo di connettività, scegli il metodo di networking che vuoi utilizzare per stabilire la connettività tra Datastream e il database di origine. Per questo tutorial, seleziona Lista consentita IP come metodo di connettività.

9. Configura il database di origine in modo da consentire le connessioni in entrata dagli indirizzi IP pubblici di Datastream visualizzati.

10. Nella sezione Definisci metodo di connettività, fai clic su Continua. La sezione Testa profilo di connessione della pagina Crea profilo MySQL è attiva.

11. Fai clic su Esegui test per verificare che il database di origine e Datastream possano comunicare tra loro.

12. Verifica che sia visualizzato lo stato Test superato.

13. Fai clic su Crea.

Crea un profilo di connessione di destinazione per Cloud Storage

1. Nella console Google Cloud , vai alla pagina Profili di connessione per Datastream.

   Vai alla pagina Profili di connessione

2. Fai clic su Crea profilo.

3. Per creare un profilo di connessione di destinazione per Cloud Storage, nella pagina Crea un profilo di connessione, fai clic sul tipo di profilo Cloud Storage.

4. Nella pagina Crea profilo Cloud Storage, fornisci le seguenti informazioni:

   • Nel campo Nome profilo di connessione, inserisci My Destination Connection Profile.
   • Mantieni l'ID profilo di connessione generato automaticamente.
   • Seleziona la regione in cui vuoi archiviare il profilo di connessione.

   • Nel riquadro Dettagli connessione, fai clic su Sfoglia per selezionare il bucket Cloud Storage che hai creato in precedenza in questo tutorial. Questo è il bucket in cui Datastream trasferisce i dati dal database di origine. Dopo aver effettuato la selezione, fai clic su Seleziona.

     Il tuo bucket viene visualizzato nel campo Nome bucket del riquadro Dettagli connessione.

   • Nel campo Prefisso di percorso del profilo di connessione, fornisci un prefisso per il percorso che vuoi aggiungere al nome bucket quando Datastream trasmette i dati alla destinazione. Assicurati che Datastream scriva i dati in un percorso all'interno del bucket, non nella cartella principale del bucket. Per questo tutorial, utilizza il percorso che hai definito quando hai configurato la notifica Pub/Sub. Inserisci /integration/tutorial nel campo.

5. Fai clic su Crea.

Dopo aver creato un profilo di connessione di origine per il database MySQL e un profilo di connessione di destinazione per Cloud Storage, puoi utilizzarli per creare uno stream.

Crea uno stream in Datastream

In questa sezione creerai uno stream. Questo stream utilizza le informazioni nei profili di connessione per trasferire i dati da un database MySQL di origine a un bucket di destinazione in Cloud Storage.

Definisci le impostazioni per lo stream

1. Nella console Google Cloud , vai alla pagina Stream di Datastream.

   Vai alla pagina Stream

2. Fai clic su Crea stream.

3. Fornisci le seguenti informazioni nel riquadro Definisci dettagli flusso della pagina Crea stream:

   • Nel campo Nome stream, inserisci My Stream.
   • Mantieni l'ID stream generato automaticamente.
   • Nel menu Regione, seleziona la regione in cui hai creato i profili di connessione di origine e di destinazione.
   • Nel menu Tipo di origine, seleziona il tipo di profilo MySQL.
   • Nel menu Tipo di destinazione, seleziona il tipo di profilo Cloud Storage.

4. Rivedi i prerequisiti richiesti generati automaticamente per riflettere la preparazione dell'ambiente per uno stream. Questi prerequisiti possono includere la configurazione del database di origine e la connessione di Datastream al bucket di destinazione in Cloud Storage.

5. Fai clic su Continua. Viene visualizzato il riquadro Definisci profilo di connessione MySQL della pagina Crea stream.

Specifica le informazioni sul profilo di connessione di origine

In questa sezione, seleziona il profilo di connessione che hai creato per il database di origine (il profilo di connessione di origine). Per questo tutorial, è Il mio profilo di connessione di origine.

1. Nel menu Profilo di connessione di origine, seleziona il profilo di connessione di origine per il database MySQL.

2. Fai clic su Esegui test per verificare che il database di origine e Datastream possano comunicare tra loro.

   Se il test non riesce, viene visualizzato il problema associato al profilo di connessione. Per la procedura di risoluzione dei problemi, consulta la pagina Diagnostica i problemi. Apporta le modifiche necessarie per correggere il problema e poi esegui di nuovo il test.

3. Fai clic su Continua. Viene visualizzato il riquadro Configura origine stream della pagina Crea stream.

Configura le informazioni sul database di origine per lo stream

In questa sezione, configura le informazioni sul database di origine per lo stream specificando le tabelle e gli schemi nel database di origine che Datastream:

• Può essere trasferito nella destinazione.
• Non è possibile trasferire il saldo nella destinazione.

Determini anche se Datastream esegue il backfill dei dati storici, nonché se trasmette le modifiche in corso alla destinazione o solo le modifiche ai dati.

1. Utilizza il menu Oggetti da includere per specificare le tabelle e gli schemi nel database di origine che Datastream può trasferire in una cartella nel bucket di destinazione in Cloud Storage. Il menu viene caricato solo se il database contiene fino a 5000 oggetti.

   Per questo tutorial, vuoi che Datastream trasferisca tutte le tabelle e gli schemi. Pertanto, seleziona Tutte le tabelle di tutti gli schemi dal menu.

2. Verifica che il riquadro Seleziona gli oggetti da escludere sia impostato su Nessuno. Non vuoi impedire a Datastream di trasferire tabelle e schemi dal database di origine a Cloud Storage.

3. Verifica che il riquadro Scegli la modalità di backfill per i dati storici sia impostato su Automatico. Datastream trasmette in streaming tutti i dati esistenti, oltre alle modifiche ai dati, dall'origine alla destinazione.

4. Fai clic su Continua. Viene visualizzato il riquadro Definisci profilo di connessione Cloud Storage della pagina Crea stream.

Seleziona un profilo di connessione di destinazione

In questa sezione, seleziona il profilo di connessione che hai creato per Cloud Storage (il profilo di connessione di destinazione). Per questo tutorial, è My Destination Connection Profile.

1. Nel menu Profilo di connessione di destinazione, seleziona il tuo profilo di connessione di destinazione per Cloud Storage.

2. Fai clic su Continua. Viene visualizzato il riquadro Configura destinazione stream della pagina Crea stream.

Configura le informazioni sulla destinazione dello stream

In questa sezione configuri le informazioni sul bucket di destinazione per lo stream. Queste informazioni comprendono:

• Il formato di output dei file scritti in Cloud Storage.
• La cartella del bucket di destinazione in cui Datastream trasferisce schemi, tabelle e dati dal database di origine.

1. Nel campo Formato di output, seleziona il formato dei file scritti in Cloud Storage. Datastream supporta due formati di output: Avro e JSON. Per questo tutorial, Avro è il formato del file.

2. Fai clic su Continua. Viene visualizzato il riquadro Rivedi dettagli flusso e crea della pagina Crea stream.

Crea lo stream

1. Verifica i dettagli dello stream, nonché i profili di connessione di origine e di destinazione che lo stream utilizza per trasferire i dati da un database MySQL di origine a un bucket di destinazione in Cloud Storage.

2. Per convalidare lo stream, fai clic su Esegui convalida. Convalidando uno stream, Datastream verifica che l'origine sia configurata correttamente, convalida che lo stream possa connettersi sia all'origine che alla destinazione e verifica la configurazione end-to-end dello stream.

3. Dopo aver superato tutti i controlli di convalida, fai clic su Crea.

4. Nella finestra di dialogo Crea stream?, fai clic su Crea.

Avviare lo stream

Per questo tutorial, crei e avvii un flusso separatamente nel caso in cui il processo di creazione del flusso comporti un carico maggiore sul database di origine. Per posticipare il caricamento, crei lo stream senza avviarlo e poi lo avvii quando il database è in grado di gestire il carico.

Avviando lo stream, Datastream può trasferire dati, schemi e tabelle dal database di origine alla destinazione.

1. Nella console Google Cloud , vai alla pagina Stream di Datastream.

   Vai alla pagina Stream

2. Seleziona la casella di controllo accanto allo stream che vuoi avviare. Per questo tutorial, è Il mio stream.

3. Fai clic su Avvia.

4. Nella finestra di dialogo, fai clic su Avvia. Lo stato dello stream cambia da Not started a Starting e poi a Running.

Dopo aver avviato uno stream, puoi verificare che Datastream abbia trasferito i dati dal database di origine alla destinazione.

Verifica lo stream

In questa sezione, confermi che Datastream trasferisce i dati da tutte le tabelle di un database MySQL di origine nella cartella /integration/tutorial del bucket di destinazione Cloud Storage.

1. Nella console Google Cloud , vai alla pagina Stream di Datastream.

   Vai alla pagina Stream

2. Fai clic sullo stream che hai creato. Per questo tutorial, è Il mio stream.

3. Nella pagina Dettagli stream, fai clic sul link bucket-name/integration/tutorial, dove bucket-name è il nome che hai assegnato al bucket Cloud Storage. Questo link viene visualizzato dopo il campo Percorso scrittura destinazione. La pagina Dettagli bucket di Cloud Storage si apre in una scheda separata.

4. Verifica che siano visualizzate cartelle che rappresentano le tabelle del database di origine.

5. Fai clic su una delle cartelle delle tabelle e poi su ogni sottocartella finché non visualizzi i dati associati alla tabella.

Crea un job Dataflow

In questa sezione creerai un job in Dataflow. Dopo che Datastream trasmette in streaming le modifiche ai dati da un database MySQL di origine al tuo bucket Cloud Storage, Pub/Sub invia notifiche a Dataflow sui nuovi file contenenti le modifiche. Il job Dataflow elabora i file e trasferisce le modifiche in BigQuery.

1. Nella console Google Cloud , vai alla pagina Job per Dataflow.

   Vai alla pagina Job

2. Fai clic su Crea job da modello.

3. Nel campo Nome job della pagina Crea job da modello, inserisci un nome per il job Dataflow che stai creando. Per questo tutorial, inserisci my-dataflow-integration-job nel campo.

4. Nel menu Endpoint a livello di regione, seleziona la regione in cui vuoi archiviare il job. Si tratta della stessa regione selezionata per il profilo di connessione di origine, il profilo di connessione di destinazione e lo stream che hai creato.

5. Nel menu Modello Dataflow, seleziona il modello che utilizzi per creare il job. Per questo tutorial, seleziona Datastream a BigQuery.

   Dopo aver effettuato questa selezione, vengono visualizzati altri campi correlati a questo modello.

6. Nel campo Posizione del file per l'output del file Datastream in Cloud Storage, inserisci il nome del bucket Cloud Storage utilizzando il seguente formato: gs://bucket-name.

7. Nel campo Abbonamento Pub/Sub utilizzato in una policy di notifica di Cloud Storage, inserisci il percorso che contiene il nome dell'abbonamento Pub/Sub. Per questo tutorial, inserisci projects/project-name/subscriptions/my_integration_notifs_sub.

8. Nel campo Formato file di output di Datastream (avro/json), inserisci avro perché, per questo tutorial, Avro è il formato dei file che Datastream scrive in Cloud Storage.

9. Nel campo Nome o modello del set di dati che deve contenere le tabelle di staging, inserisci My_integration_dataset_log perché Dataflow utilizza questo set di dati per eseguire lo staging delle modifiche ai dati che riceve da Datastream.

10. Nel campo Modello per il set di dati che deve contenere le tabelle di replica, inserisci My_integration_dataset_final perché questo è il set di dati in cui vengono unite le modifiche temporanee nel set di dati My_integration_dataset_log per creare una replica uno a uno delle tabelle nel database di origine.

11. Nel campo Directory della coda di messaggi non recapitabili, inserisci il percorso che contiene il nome del bucket Cloud Storage e una cartella per una coda di messaggi non recapitabili. Assicurati di non utilizzare un percorso nella cartella principale e che il percorso sia diverso da quello in cui Datastream scrive i dati. Le modifiche ai dati che Dataflow non riesce a trasferire in BigQuery vengono archiviate nella coda. Puoi correggere i contenuti nella coda in modo che Dataflow possa rielaborarli.

    Per questo tutorial, inserisci gs://bucket-name/dlq nel campo Directory della coda di messaggi non recapitabili (dove bucket-name è il nome del tuo bucket e dlq è la cartella della coda di messaggi non recapitabili).

12. Fai clic su Esegui job.

Verificare l'integrazione

Nella sezione Verifica lo stream di questo tutorial, hai confermato che Datastream ha trasferito i dati da tutte le tabelle di un database MySQL di origine nella cartella /integration/tutorial del bucket di destinazione Cloud Storage.

In questa sezione, verifichi che Dataflow elabori i file contenenti le modifiche associate a questi dati e trasferisca le modifiche in BigQuery. Di conseguenza, hai un'integrazione end-to-end tra Datastream e BigQuery.

1. Nella console Google Cloud , vai alla pagina Area di lavoro SQL per BigQuery.

   Vai alla pagina dell'area di lavoro SQL

2. Nel riquadro Explorer, espandi il nodo accanto al nome del progetto Google Cloud .

3. Espandi i nodi accanto ai set di dati My_integration_dataset_log e My_integration_dataset_final.

4. Verifica che ogni set di dati ora contenga dati. Ciò conferma che Dataflow ha elaborato i file contenenti le modifiche associate ai dati che Datastream ha trasmesso in streaming a Cloud Storage e ha trasferito queste modifiche in BigQuery.