排定資料準備作業
本文說明如何排定資料準備管線並執行手動作業。
資料準備功能由 Dataform 提供支援。每個資料準備排程都會使用您的 Google 帳戶使用者憑證或您在設定排程或測試執行時選取的 Dataform 服務帳戶執行。
系統不會自動儲存您對資料準備步驟所做的變更。您必須先儲存及部署變更,才能依排程執行變更。排程一律會執行已部署的最新資料準備作業版本,並排除您可能正在開發的任何未部署變更。
事前準備
在開始之前,請先建立資料準備。
必要的角色
如要執行資料準備作業,您必須將角色授予服務帳戶,以便執行資料準備作業。詳情請參閱所需角色。
開發資料準備
開發資料準備作業時,您可以手動執行步驟並檢查輸出內容,然後再將變更部署至實際工作環境。您可以測試目前正在資料上開發的版本,而 BigQuery 會根據排程持續執行最新的已部署版本。您必須先設定目的地,並修正任何驗證錯誤,才能執行作業。
在開發階段手動執行資料準備作業
如要測試資料準備步驟,並驗證目的地資料表中的結果,請透過資料準備編輯器手動執行資料準備作業:
前往 Google Cloud 控制台的「BigQuery」頁面。
在「Explorer」窗格中,展開專案和「Data preparations」資料夾。按一下要執行的資料準備作業名稱。
為執行作業設定服務帳戶的權限:
- 在資料準備編輯工具列中,將滑鼠游標懸停在已停用的「Run」選項上。
- 在顯示服務帳戶設定資訊的對話方塊中,按一下「設定」。
- 在「Service account settings」對話方塊中,選取服務帳戶。
- 如果服務帳戶需要其他權限,請按一下「Grant all」(全部授予),為服務帳戶授予必要角色。
- 按一下 [儲存]。
選用步驟:如要更新服務帳戶以便日後執行,請前往資料準備編輯器工具列,然後依序按一下「更多」>「立即設定執行體驗」,接著更新並儲存服務帳戶設定。
修正顯示的驗證錯誤。
在資料準備編輯器工具列中,按一下「執行」。
在「Run now」對話方塊中,按一下「Confirm」,確認這次手動執行作業會將資料寫入目的地資料表,您也可以將該資料表用於排定的執行作業。
然後執行步驟,並將輸出內容載入至目的地。
選用步驟:執行作業完成後,您可以在「Executions」窗格中查看執行作業的詳細資料。
部署資料準備作業
如要為資料準備作業版本排定執行作業,您必須先部署該版本。排程會執行最近部署的版本。
如要部署資料準備作業,請按照下列步驟操作:
前往 Google Cloud 控制台的「BigQuery」頁面。
在「Explorer」窗格中,展開專案和「Data preparations」資料夾。按一下所選資料準備作業的名稱。
資料準備編輯器隨即開啟。
在資料準備編輯器工具列中,按一下「部署」。
建立排程
如要建立排程來執行已部署的資料準備步驟,並將準備好的資料載入目的地資料表,您必須先排定資料準備作業執行時間。如要排定執行作業,您必須設定目的地,並修正任何驗證錯誤。
如要建立資料準備時間表,請按照下列步驟操作:
「Explorer」窗格
前往 Google Cloud 控制台的「BigQuery」頁面。
在「Explorer」窗格中,展開專案和「Data preparations」資料夾。按一下要排程的資料準備作業名稱。
在資料準備編輯器工具列中,按一下「排程」。
輸入排程名稱。
在「Authentication」部分,使用 Google 帳戶使用者憑證或服務帳戶授權資料準備作業。
- 如要使用 Google 帳戶使用者憑證 (預覽),請選取「以我的使用者憑證執行」。
- 如要使用服務帳戶,請選取「以所選服務帳戶執行」,然後選取服務帳戶。
排定頻率。
按一下「建立排程」。如果您選取「使用我的使用者憑證執行」做為驗證方法,則必須授權 Google 帳戶 (預先發布版)。
「Scheduling」頁面
在 Google Cloud 控制台中,前往「Scheduling」頁面。
按一下「建立」,然後在選單中選取「資料準備排程」。
在「排定資料準備作業」窗格中的「資料準備」欄位,選取要排定的資料準備作業。
在「排程名稱」欄位中,輸入排程名稱。
在「Authentication」部分,使用 Google 帳戶使用者憑證或服務帳戶授權資料準備作業。
- 如要使用 Google 帳戶使用者憑證 (預覽),請選取「以我的使用者憑證執行」。
- 如要使用服務帳戶,請選取「以所選服務帳戶執行」,然後選取服務帳戶。
在「Schedule frequency」部分執行下列操作:
- 在「Repeats」選單中,選取資料準備作業的執行頻率。
- 在「At time」欄位中,輸入預定資料準備執行時間。
- 在「時區」選單中,選取時間表適用的時區。
按一下「建立排程」。如果您選取「使用我的使用者憑證執行」做為驗證方法,則必須授權 Google 帳戶 (預先發布版)。
授權給您的 Google 帳戶
如要使用 Google 帳戶使用者憑證驗證資源,您必須手動授予 BigQuery 管道權限,以便取得 Google 帳戶的存取金鑰,並代您存取來源資料。您可以透過 OAuth 對話方塊介面手動核准。
您只需要一次授予 BigQuery 管道權限。
如要撤銷已授予的權限,請按照下列步驟操作:
- 前往 Google 帳戶頁面。
- 按一下「BigQuery 管道」。
- 按一下 [移除存取權]。
如果新 Google 帳戶擁有者從未建立時間表,則必須透過更新憑證來變更資料準備時間表擁有者,並進行手動核准。
手動執行排定的資料準備作業
當您在所選時間表中手動執行資料準備作業時,BigQuery 會獨立於時間表執行資料準備作業一次。
如要手動執行預定的資料準備作業,請按照下列步驟操作:
在 Google Cloud 控制台中,前往「Scheduling」頁面。
按一下所選資料準備作業排程的名稱。
在「排程詳細資料」頁面中,按一下「執行」。
查看時間表
您可以透過資料準備編輯器或「排程」頁面查看資料準備作業排程。
資料準備編輯器
如要查看資料準備作業的時間表,請按照下列步驟操作:
- 在資料準備編輯器工具列中,依序按一下「排程」「查看排程」。
- 選用:如要查看排程記錄,請按一下「查看過去執行作業」。
「排定時間」頁面
如要查看專案中的所有資料準備排程,請按照下列步驟操作:
在 Google Cloud 控制台中,前往「Scheduling」頁面。
選用:如要查看所選時程的執行記錄和詳細資料,請按一下時程名稱。系統不會顯示手動執行作業的記錄。
編輯排程
您可以透過資料準備編輯器或「排程」頁面編輯排程。
資料準備編輯器
如要編輯時間表,請按照下列步驟操作:
- 在資料準備編輯器工具列中,依序按一下「排程」「查看排程」。
- 在「排程資料準備」對話方塊中,按一下「編輯」,然後更新排程。
- 按一下「更新時間表」。
「Scheduling」頁面
如要編輯時間表,請按照下列步驟操作:
在 Google Cloud 控制台中,前往「Scheduling」頁面。
按一下所選資料準備作業排程的名稱。
在「排程詳細資料」頁面中,按一下「編輯」。
按一下「查看時間表」。
在「排程資料準備」對話方塊中,按一下「編輯」,然後更新排程。
按一下「更新時間表」。
刪除時間表
如要永久刪除所選資料準備作業的排程,請按照下列步驟操作:
在 Google Cloud 控制台中,前往「Scheduling」頁面。
在包含排程的資料列中,依序按一下 more_vert「動作」>「刪除」。