搭配 Cloud Data Fusion 使用 VPC Service Controls

如果您打算建立具備私人 IP 位址的 Cloud Data Fusion 執行個體，請先使用 VPC Service Controls (VPC-SC) 為執行個體建立安全邊界，以提供額外安全防護。在私人 Cloud Data Fusion 執行個體和其他 Google Cloud 資源周圍建立 VPC-SC 安全範圍，有助於降低資料竊取風險。舉例來說，如果使用 VPC Service Controls，當 Cloud Data Fusion 管道從位於安全範圍內的支援的資源 (例如 BigQuery 資料集) 讀取資料，然後嘗試將輸出內容寫入安全範圍外的資源，管道就會失敗。

Cloud Data Fusion 資源會公開在兩個 API 途徑：

  1. datafusion.googleapis.com 控制層 API 介面，可讓您執行執行個體層級作業，例如建立及刪除執行個體。

  2. datafusion.googleusercontent.com 資料層 API 介面 ( Google Cloud 控制台中的 Cloud Data Fusion Web UI)，會在 Cloud Data Fusion 執行個體上執行，以建立及執行資料管道。

您可以限制與這兩個 API 途徑的連線，藉此設定 Cloud Data Fusion 的 VPC Service Controls。

策略：

  • Cloud Data Fusion 管道會在 Dataproc 叢集中執行。如要使用服務範圍保護 Dataproc 叢集，請按照設定私人連線一文的指示操作，讓叢集可在範圍內運作。

  • 請勿使用 Google Cloud 使用 VPC Service Controls 不支援的 API 的外掛程式。如果您使用不支援的外掛程式，Cloud Data Fusion 會封鎖 API 呼叫，導致管道預覽和執行作業失敗。

  • 如要在 VPC Service Controls 服務範圍內使用 Cloud Data Fusion，請新增或設定多個 DNS 項目，將下列網域指向受限制的 VIP (虛擬 IP 位址)：

    • datafusion.googleapis.com
    • *.datafusion.googleusercontent.com
    • *.datafusion.cloud.google.com

限制：

  • 請先建立 VPC Service Control 安全範圍，再建立 Cloud Data Fusion 私人執行個體。系統不支援在設定 VPC Service Controls 之前建立的執行個體的範圍保護功能。

  • 目前，Cloud Data Fusion 資料平面 UI 不支援使用以身分為準的存取權指定存取層級。

限制 Cloud Data Fusion API 途徑

限制控制層介面

如要限制連線至 datafusion.googleapis.com API 控制平面途徑，請參閱「設定連至 Google API 和服務的私人連線」。

限制資料層途徑

如要設定與 API 資料平面的私人連線，請完成下列步驟，同時設定 *.datafusion.googleusercontent.com 和 *.datafusion.cloud.google.com 網域的 DNS。

  1. 使用 Cloud DNS 建立新的私人區域：

    1. 區域類型：勾選「private」
    2. 可用區名稱：datafusiongoogleusercontent.com
    3. DNS 名稱：datafusion.googleusercontent.com

    4. 網路：選取您在建立 Cloud Data Fusion 執行個體時選擇的私人 IP 網路。

      如何填寫區域欄位。

  2. 在「Cloud DNS」頁面中，按一下 datafusiongoogleusercontent DNS 區域名稱，開啟「區域詳細資料」頁面。系統會列出兩個記錄：NS 和 SOA 記錄。使用「Add Standard」，將下列兩個記錄組新增至 datafusiongoogleusercontent DNS 區域。

    1. 新增 CNAME 記錄：在「Create record set」對話方塊中填入下列欄位，將 DNS 名稱 *.datafusion.googleusercontent.com. 對應至正規名稱 datafusion.googleusercontent.com：

      • DNS 名稱："*.datafusion.googleusercontent.com"

      • 標準名稱：「datafusion.googleusercontent.com」

        如何填寫區域欄位。

    2. 新增 A 記錄：在新的「Create record set」對話方塊中，填入下列欄位，將 DNS 名稱 datafusion.googleusercontent.com. 對應至 IP 位址 199.36.153.4 - 199.36.153.7：

      • DNS 名稱：".datafusion.googleusercontent.com"

      • IPv4 位址：

        • 199.36.153.4
        • 199.36.153.5
        • 199.36.153.6
        • 199.36.153.7
        如何填寫區域欄位。

      datafusiongoogleusercontent「可用區詳細資料」頁面會顯示下列記錄集：

      如何填寫區域欄位。

  3. 請按照上述步驟建立私人 DNS 區域，並為 *.datafusion.cloud.google.com 網域新增記錄集。

後續步驟