將 Oracle 資料載入 BigQuery

主控台

1. 前往 Google Cloud 控制台的「資料移轉」頁面。

   前往「資料移轉」

2. 按一下 add「建立移轉作業」。

3. 在「Source type」(來源類型) 部分，「Source」(來源) 請選取「Oracle」。

4. 在「Data source details」(資料來源詳細資料) 部分執行下列操作：

   • 在「Network attachment」(網路連結) 部分選取現有的網路連結，或是點選「Create Network Attachment」(建立網路連結)。
   • 在「Host」(主機) 部分，輸入資料庫的主機名稱或 IP。
   • 在「Port」(通訊埠) 部分，輸入 Oracle 資料庫用來接收傳入連線的通訊埠編號，例如 1521。
   • 在「Database name」(資料庫名稱) 部分，輸入 Oracle 資料庫的名稱。
   • 在「Connection type」(連線類型) 部分，輸入連線網址類型，例如 SERVICE、SID 或 TNS。
   • 在「Username」(使用者名稱) 部分，輸入啟動 Oracle 資料庫連線的使用者的名稱。
   • 在「Password」(密碼) 部分，輸入啟動 Oracle 資料庫連線的使用者密碼。
   • 在「Encryption mode」 部分，從下拉式選單中選取「FULL」(完整)，在連線至 Oracle 資料庫時啟用完整 SSL 驗證。如果選取「DISABLE」(停用)，就不會進行 SSL 驗證。

   • 在「Oracle objects to transfer」 部分點選「BROWSE」(瀏覽)，選取要移轉至 BigQuery 目的地資料集的資料表。您也可以在這個欄位手動輸入要移轉資料的物件。

     

5. 在「Destination settings」(目的地設定) 部分，「Dataset」(資料集) 請選取您為了儲存資料而建立的資料集。

6. 在「Transfer config name」(轉移設定名稱) 部分，「Display name」(顯示名稱) 請輸入資料移轉作業名稱。

7. 在「Schedule options」(排程選項) 專區：

   • 在「Repeat frequency」(重複執行頻率) 清單中，選取選項，指定這項資料移轉作業的執行頻率。如要指定自訂重複頻率，請選取「Custom」(自訂)。如果選取「On-demand」(隨選)，系統會在您手動觸發移轉作業時執行該作業。
   • 視情況選取「Start now」(立即開始) 或「Start at set time」(在所設時間開始執行)，並提供開始日期和執行時間。

8. 選用：在「Notification options」(通知選項) 專區，執行下列操作：

   • 如要啟用電子郵件通知，請點選「Email notification」(電子郵件通知) 切換按鈕。當您啟用此選項時，移轉管理員會在移轉作業失敗時收到電子郵件通知。
   • 如要針對這項移轉作業啟用 Pub/Sub 移轉作業執行通知，請點選「Pub/Sub notifications」(Pub/Sub 通知) 切換按鈕。您可以選取主題名稱，也可以點選「Create a topic」(建立主題) 來建立主題。

9. 按一下「儲存」。

bq

輸入 bq mk 指令並提供轉移建立標記 --transfer_config：

bq mk
    --transfer_config
    --project_id=PROJECT_ID
    --data_source=DATA_SOURCE
    --display_name=DISPLAY_NAME
    --target_dataset=DATASET
    --params='PARAMETERS'

其中：

• PROJECT_ID (選用)：您的 Google Cloud 專案 ID。如果未提供 --project_id 指定特定專案，系統會使用預設專案。
• DATA_SOURCE：資料來源 — oracle。
• DISPLAY_NAME：移轉設定的顯示名稱。資料移轉作業名稱可以是任意值，日後需要修改移轉作業時，能夠據此識別即可。
• DATASET：移轉設定的目標資料集。

• PARAMETERS：已建立移轉設定的 JSON 格式參數。例如：--params='{"param":"param_value"}'。以下是 Oracle 資料移轉的參數：

  • connector.networkAttachment (選用)：連線至 Oracle 資料庫的網路附件名稱。
  • connector.authentication.Username：Oracle 帳戶的使用者名稱。
  • connector.authentication.Password：Oracle 帳戶密碼。
  • connector.database：Oracle 資料庫的名稱。
  • connector.endpoint.host：資料庫的主機名稱或 IP。
  • connector.endpoint.port：Oracle 資料庫用來接收傳入連線的通訊埠編號，例如 1520。
  • connector.connectionType：連線網址類型，可為 SERVICE、SID 或 TNS。
  • assets：Oracle 物件路徑，將會轉移至 BigQuery，格式如下： DATABASE_NAME/SCHEMA_NAME/TABLE_NAME

舉例來說，下列指令會在預設專案中建立 Oracle 資料移轉作業，並提供所有必要參數：

bq mk
    --transfer_config
    --target_dataset=mydataset
    --data_source=oracle
    --display_name='My Transfer'
    --params='{"assets":["DB1/USER1/DEPARTMENT","DB1/USER1/EMPLOYEES"],
        "connector.authentication.username": "User1",
        "connector.authentication.password":"ABC12345",
        "connector.database":"DB1",
        "connector.endpoint.host":"192.168.0.1",
        "connector.endpoint.port":1520,
        "connector.connectionType":"SERVICE",
        "connector.networkAttachment":
        "projects/dev-project1/regions/us-central1/networkattachments/na1"}'

API

請使用 projects.locations.transferConfigs.create 方法，並提供 TransferConfig 資源的執行個體。