Caricare i dati Oracle in BigQuery

Console

1. Vai alla pagina Trasferimenti di dati nella console Google Cloud .

   Vai a Trasferimenti dati

2. Fai clic su add Crea trasferimento.

3. Nella sezione Tipo di origine, per Origine, seleziona Oracle.

4. Nella sezione Dettagli origine dati, segui questi passaggi:

   • Per Collegamento di rete, seleziona un collegamento di rete esistente o fai clic su Crea collegamento di rete.
   • In Host, inserisci il nome host o l'IP del database.
   • In Porta, inserisci il numero di porta utilizzato dal database Oracle per le connessioni in entrata, ad esempio 1521.
   • In Nome database, inserisci il nome del database Oracle.
   • In Tipo di connessione, inserisci il tipo di URL di connessione, SERVICE, SID o TNS.
   • In Nome utente, inserisci il nome dell'utente che avvia la connessione al database Oracle.
   • In Password, inserisci la password dell'utente che avvia la connessione al database Oracle.
   • Per Encryption mode (Modalità di crittografia), seleziona FULL (COMPLETA) dal menu a discesa per attivare la convalida SSL completa quando ti connetti al database Oracle oppure DISABLE (DISABILITA) per disabilitare la convalida SSL.

   • Per Oracle objects to transfer (Oggetti Oracle da trasferire), fai clic su BROWSE (SFOGLIA) per selezionare le eventuali tabelle da trasferire al set di dati di destinazione BigQuery. In questo campo puoi anche inserire manualmente gli oggetti da includere nel trasferimento di dati.

     

5. Nella sezione Impostazioni destinazione, per Set di dati, seleziona il set di dati che hai creato per archiviare i dati.

6. Nella sezione Nome configurazione di trasferimento, per Nome visualizzato, inserisci un nome per il trasferimento di dati.

7. Nella sezione Opzioni di pianificazione:

   • Nell'elenco Frequenza di ripetizione, seleziona un'opzione per specificare la frequenza con cui viene eseguito questo trasferimento di dati. Per specificare una frequenza di ripetizione personalizzata, seleziona Personalizzata. Se selezioni On demand, l'esecuzione avviene quando attivi manualmente il trasferimento.
   • Se applicabile, seleziona Inizia ora o Inizia all'ora impostata e fornisci una data di inizio e un'ora di esecuzione.

8. (Facoltativo) Nella sezione Opzioni di notifica, segui questi passaggi:

   • Per attivare le notifiche via email, fai clic sul pulsante di attivazione/disattivazione Notifica email. Quando attivi questa opzione, l'amministratore del trasferimento riceve una notifica via email quando l'esecuzione di un trasferimento non riesce.
   • Per attivare le notifiche di esecuzione del trasferimento Pub/Sub per questo trasferimento, fai clic sul pulsante di attivazione/disattivazione Notifiche Pub/Sub. Puoi selezionare il nome del tuo argomento oppure fare clic su Crea un argomento per crearne uno.

9. Fai clic su Salva.

bq

Inserisci il comando bq mk e fornisci il flag di creazione del trasferimento --transfer_config:

bq mk
    --transfer_config
    --project_id=PROJECT_ID
    --data_source=DATA_SOURCE
    --display_name=DISPLAY_NAME
    --target_dataset=DATASET
    --params='PARAMETERS'

Dove:

• (Facoltativo) PROJECT_ID: il tuo ID progetto Google Cloud . Se non viene fornito --project_id per specificare un progetto particolare, viene utilizzato il progetto predefinito.
• DATA_SOURCE: l'origine dati oracle.
• DISPLAY_NAME: il nome visualizzato per la configurazione del trasferimento. Il nome del trasferimento dei dati può essere qualsiasi valore che ti consenta di identificare il trasferimento se devi modificarlo in un secondo momento.
• DATASET: il set di dati di destinazione per la configurazione del trasferimento.

• PARAMETERS: i parametri per la configurazione del trasferimento creato in formato JSON. Ad esempio: --params='{"param":"param_value"}'. Di seguito sono riportati i parametri per un trasferimento di dati Oracle:

  • connector.networkAttachment (facoltativo): nome dell'allegato di rete a cui connettersi al database Oracle.
  • connector.authentication.Username: il nome utente dell'account Oracle.
  • connector.authentication.Password: password dell'account Oracle.
  • connector.database: il nome del database Oracle.
  • connector.endpoint.host: il nome host o l'IP del database.
  • connector.endpoint.port: il numero di porta utilizzato dal database Oracle per le connessioni in entrata, ad esempio 1520.
  • connector.connectionType: il tipo di URL di connessione, SERVICE, SID o TNS.
  • assets: il percorso degli oggetti Oracle da trasferire a BigQuery, utilizzando il formato: DATABASE_NAME/SCHEMA_NAME/TABLE_NAME

Ad esempio, il seguente comando crea un trasferimento di dati Oracle nel progetto predefinito con tutti i parametri richiesti:

bq mk
    --transfer_config
    --target_dataset=mydataset
    --data_source=oracle
    --display_name='My Transfer'
    --params='{"assets":["DB1/USER1/DEPARTMENT","DB1/USER1/EMPLOYEES"],
        "connector.authentication.username": "User1",
        "connector.authentication.password":"ABC12345",
        "connector.database":"DB1",
        "connector.endpoint.host":"192.168.0.1",
        "connector.endpoint.port":1520,
        "connector.connectionType":"SERVICE",
        "connector.networkAttachment":
        "projects/dev-project1/regions/us-central1/networkattachments/na1"}'

API

Utilizza il metodo projects.locations.transferConfigs.create e fornisci un'istanza della risorsa TransferConfig.