Caricare i dati PostgreSQL in BigQuery

Console

1. Vai alla pagina Trasferimenti di dati.

   Vai a Trasferimenti dati

2. Fai clic su add Crea trasferimento.

3. Nella sezione Tipo di origine, per Origine, seleziona PostgreSQL.

4. Nella sezione Nome configurazione di trasferimento, per Nome visualizzato, inserisci un nome per il trasferimento. Il nome del trasferimento può essere qualsiasi valore che ti consenta di identificare il trasferimento se devi modificarlo in un secondo momento.

5. Nella sezione Opzioni di pianificazione, segui questi passaggi:

   • Seleziona una frequenza di ripetizione. Se selezioni l'opzione Ore, Giorni (impostazione predefinita), Settimane o Mesi, devi anche specificare una frequenza. Puoi anche selezionare l'opzione Personalizzata per creare una frequenza di ripetizione più specifica. Se selezioni l'opzione On demand, questo trasferimento di dati viene eseguito solo quando attivi manualmente il trasferimento.
   • Se applicabile, seleziona l'opzione Inizia ora o Inizia all'ora impostata e fornisci una data di inizio e un'ora di esecuzione.

6. Nella sezione Impostazioni destinazione, per Set di dati, seleziona il set di dati che hai creato per archiviare i dati oppure fai clic su Crea nuovo set di dati e creane uno da utilizzare come set di dati di destinazione.

7. Nella sezione Dettagli origine dati, segui questi passaggi:

   • Per Collegamento di rete, seleziona un collegamento di rete esistente o fai clic su Crea collegamento di rete. Per saperne di più, consulta la sezione Connessioni di rete di questo documento.
   • In Host, inserisci il nome host o l'indirizzo IP del server di database PostgreSQL.
   • In Numero porta, inserisci il numero di porta per il server di database PostgreSQL.
   • In Nome database, inserisci il nome del database PostgreSQL.
   • Per Nome utente, inserisci il nome utente dell'utente PostgreSQL che avvia la connessione al database PostgreSQL.
   • In Password, inserisci la password dell'utente PostgreSQL che avvia la connessione al database PostgreSQL.

   • Per Oggetti PostgreSQL da trasferire, esegui una delle seguenti operazioni:

     • Fai clic su Sfoglia per selezionare le tabelle PostgreSQL necessarie per il trasferimento, quindi fai clic su Seleziona.
     • Inserisci manualmente i nomi delle tabelle negli oggetti PostgreSQL da trasferire.

   

8. (Facoltativo) Nel menu Service account, specifica un account di servizio personalizzato per autorizzare il trasferimento. Assicurati che il service account utilizzato disponga di tutti i ruoli e le autorizzazioni necessari. Per ulteriori informazioni, vedi Trasferire la proprietà come service account.

9. (Facoltativo) Nella sezione Opzioni di notifica, segui questi passaggi:

   • Per attivare le notifiche via email, fai clic sul pulsante di attivazione/disattivazione Notifiche via email in modo da attivarlo. Quando attivi questa opzione, l'amministratore del trasferimento riceve una notifica via email quando l'esecuzione di un trasferimento non riesce.
   • Per configurare le notifiche di esecuzione di Pub/Sub per il trasferimento, fai clic sul pulsante di attivazione/disattivazione Notifiche Pub/Sub per attivarlo. Puoi selezionare il nome del tuo argomento o fare clic su Crea un argomento per crearne uno.

10. Fai clic su Salva.

bq

Inserisci il comando bq mk e fornisci il flag di creazione del trasferimento --transfer_config:

bq mk
    --transfer_config
    --project_id=PROJECT_ID
    --data_source=DATA_SOURCE
    --display_name=DISPLAY_NAME
    --target_dataset=DATASET
    --params='PARAMETERS'

Sostituisci quanto segue:

• (Facoltativo) PROJECT_ID: il tuo ID progetto Google Cloud . Se non viene fornito il flag --project_id per specificare un progetto particolare, viene utilizzato il progetto predefinito.
• DATA_SOURCE: l'origine dati, ovvero postgresql.
• DISPLAY_NAME: il nome visualizzato per la configurazione del trasferimento dei dati. Il nome del trasferimento può essere qualsiasi valore che ti consenta di identificare il trasferimento se devi modificarlo in un secondo momento.
• DATASET: il set di dati di destinazione per la configurazione del trasferimento dei dati.

• PARAMETERS: i parametri per la configurazione del trasferimento creato in formato JSON. Ad esempio: --params='{"param":"param_value"}'. Di seguito sono riportati i parametri per un trasferimento PostgreSQL:

  • networkAttachment (facoltativo): il nome dell'allegato di rete a cui connettersi al database PostgreSQL.
  • connector.database: il nome del database PostgreSQL.
  • connector.endpoint.host: il nome host o l'indirizzo IP del database.
  • connector.endpoint.port: il numero di porta del database.
  • connector.authentication.username: il nome utente dell'utente del database.
  • connector.authentication.password: la password dell'utente del database.
  • assets: un elenco dei nomi delle tabelle PostgreSQL da trasferire dal database PostgreSQL nell'ambito del trasferimento.

Ad esempio, il seguente comando crea un trasferimento PostgreSQL denominato My Transfer:

bq mk
    --transfer_config
    --target_dataset=mydataset
    --data_source=postgresql
    --display_name='My Transfer'
    --params='{"assets":["DB1/PUBLIC/DEPARTMENT","DB1/PUBLIC/EMPLOYEES"],
        "connector.authentication.username": "User1",
        "connector.authentication.password":"ABC12345",
        "connector.database":"DB1",
        "connector.endpoint.host":"192.168.0.1",
        "connector.endpoint.port":5432}'

API

Utilizza il metodo projects.locations.transferConfigs.create e fornisci un'istanza della risorsa TransferConfig.