カスタム制約を使用して Dataflow リソースを管理する

Google Cloud の組織のポリシーを使用すると、組織のリソースをプログラムで一元管理できます。組織ポリシー管理者は組織ポリシーを定義できます。組織ポリシーは制約と呼ばれる一連の制限で、Google Cloud のリソース階層内の Google Cloud リソースやそれらのリソースの子孫に適用されます。組織のポリシーは、組織レベル、フォルダレベル、またはプロジェクト レベルで適用できます。

組織のポリシーは、さまざまな Google Cloud サービスに事前に定義された制約を提供します。ただし、組織のポリシーで制限されている特定のフィールドをカスタマイズ可能な方法でより詳細に制御する必要がある場合は、カスタムの組織のポリシーを作成することもできます。

利点

カスタムの組織のポリシーを使用すると、サポートされているリソース属性(ジョブ名、タイプ、サービス オプションなど)に基づいて条件付きで Dataflow ジョブの作成を許可または拒否できます。

ポリシーの継承

デフォルトでは、組織のポリシーは、そのポリシーを適用したリソースの子孫に継承されます。たとえば、フォルダにポリシーを適用した場合、そのフォルダ内のすべてのプロジェクトにそのポリシーが適用されます。この動作の詳細と変更方法については、階層評価ルールをご覧ください。

料金

事前定義の組織のポリシーやカスタムの組織のポリシーを含む組織のポリシー サービスは料金なしで利用できます。

制限事項

  • Dataflow Job リソースのカスタム制約は、Google Cloud コンソールまたは Google Cloud CLI でのみ設定できます。

  • カスタム制約は、Dataflow Job リソースの CREATE メソッドにのみ適用できます。

  • 新しく適用されたカスタム制約は、既存のリソースに適用されません。

始める前に

組織のポリシーと制約が何であるかとどう機能するかの詳細については、組織のポリシーのサービスの概要をご覧ください。

必要なロール

組織のポリシーを管理するために必要な権限を取得するには、組織に対する組織ポリシー管理者roles/orgpolicy.policyAdmin)の IAM ロールを付与するよう管理者に依頼してください。ロールの付与については、プロジェクト、フォルダ、組織へのアクセスを管理するをご覧ください。

この事前定義ロールには、組織のポリシーを管理するために必要な権限が含まれています。必要とされる正確な権限については、「必要な権限」セクションを開いてご確認ください。

必要な権限

組織のポリシーを管理するには、次の権限が必要です。

  • orgpolicy.constraints.list
  • orgpolicy.policies.create
  • orgpolicy.policies.delete
  • orgpolicy.policies.list
  • orgpolicy.policies.update
  • orgpolicy.policy.get
  • orgpolicy.policy.set

カスタムロールや他の事前定義ロールを使用して、これらの権限を取得することもできます。

カスタム制約を作成する

カスタム制約は、組織のポリシーを適用しているサービスでサポートされるリソース、メソッド、条件、アクションを使用して YAML ファイルで定義されます。カスタム制約の条件は、Common Expression Language(CEL)を使用して定義されます。CEL を使用してカスタム制約で条件を作成する方法については、カスタム制約の作成と管理の CEL セクションをご覧ください。

カスタム制約の YAML ファイルを作成するには:

name: organizations/ORGANIZATION_ID/customConstraints/CONSTRAINT_NAME
resourceTypes:
- dataflow.googleapis.com/RESOURCE_NAME
methodTypes:
- CREATE
condition: "CONDITION"
actionType: ACTION
displayName: DISPLAY_NAME
description: DESCRIPTION

以下を置き換えます。

  • ORGANIZATION_ID: 組織 ID(123456789 など)。

  • CONSTRAINT_NAME: 新しいカスタム制約に付ける名前。カスタム制約は custom. で始まる必要があり、大文字、小文字、数字のみを含めることができます(例: custom.denyPrimeJobs)。このフィールドの最大長は 70 文字です。接頭辞はカウントされません(例: organizations/123456789/customConstraints/custom)。

  • RESOURCE_NAME: 制限するオブジェクトとフィールドを含む Dataflow API REST リソースの名前(URI ではない)。例: Job

  • CONDITION: サポート対象のサービス リソースの表現に対して書き込まれる CEL 条件。このフィールドの最大長は 1000 文字です。条件の書き込み先として使用できるリソースの詳細については、サポート対象のリソースをご覧ください。 例: "resource.environment.serviceOptions.exists(value, value=='enable_prime')"

  • ACTION: condition が満たされている場合に実行するアクション。サポートされる値は ALLOWDENY です。

  • DISPLAY_NAME: 制約の名前。わかりやすい名前を入力してください。このフィールドの最大長は 200 文字です。

  • DESCRIPTION: ポリシー違反時にエラー メッセージとして表示される制約の説明。わかりやすい説明を入力してください。このフィールドの最大長は 2000 文字です。

カスタム制約の作成方法については、カスタム制約の定義をご覧ください。

カスタム制約を設定する

新しいカスタム制約の YAML ファイルを作成したら、組織内の組織のポリシーで使用できるように設定する必要があります。カスタム制約を設定するには、gcloud org-policies set-custom-constraint コマンドを使用します。
gcloud org-policies set-custom-constraint CONSTRAINT_PATH
CONSTRAINT_PATH は、カスタム制約ファイルのフルパスに置き換えます。たとえば、/home/user/customconstraint.yaml になります。完了すると、カスタム制約が組織のポリシーとして Google Cloud 組織のポリシーのリストに表示されます。カスタム制約が存在することを確認するには、gcloud org-policies list-custom-constraints コマンドを使用します。
gcloud org-policies list-custom-constraints --organization=ORGANIZATION_ID
ORGANIZATION_ID は、組織リソースの ID に置き換えます。詳細については、組織のポリシーの表示をご覧ください。

カスタムの組織のポリシーを適用する

ブール型制約を適用するには、それを参照する組織のポリシーを作成し、それを Google Cloud リソースに適用します。

Console

  1. Google Cloud コンソールで、[組織のポリシー] ページに移動します。

    [組織のポリシー] に移動

  2. プロジェクト選択ツールから、組織のポリシーを設定するプロジェクトを選択します。
  3. [組織のポリシー] ページのリストで制約を選択して、その制約の [ポリシーの詳細] ページを表示します。
  4. このリソースの組織のポリシーを構成するには、[ポリシーを管理] をクリックします。
  5. [ポリシーの編集] ページで、[親のポリシーをオーバーライドする] を選択します。
  6. [ルールの追加] をクリックします。
  7. [適用] セクションで、この組織のポリシーの適用を有効にするかどうかを選択します。
  8. 省略可: タグで組織のポリシーに条件を設定するには、[条件を追加] をクリックします。組織のポリシーに条件付きルールを追加する場合は、少なくとも 1 つは無条件のルールを追加する必要があります。そうしないとポリシーを保存できないのでご注意ください。詳細については、タグ付きの組織のポリシーの設定をご覧ください。
  9. カスタム制約の場合は、[変更内容をテスト] をクリックして、組織のポリシーの効果をシミュレートできます。詳細については、Policy Simulator で組織のポリシーの変更をテストするをご覧ください。
  10. 組織のポリシーを完成させて適用するには、[ポリシーを設定] をクリックします。ポリシーが有効になるまでに最大 15 分かかります。

gcloud

ブール型制約を適用する組織のポリシーを作成するには、制約を参照するポリシー YAML ファイルを作成します。

      name: projects/PROJECT_ID/policies/CONSTRAINT_NAME
      spec:
        rules:
        - enforce: true
    

次のように置き換えます。

  • PROJECT_ID: 制約を適用するプロジェクト。
  • CONSTRAINT_NAME: カスタム制約に定義した名前。例: custom.denyPrimeJobs

制約を含む組織のポリシーを適用するには、次のコマンドを実行します。

    gcloud org-policies set-policy POLICY_PATH
    

POLICY_PATH は、組織のポリシーの YAML ファイルのパスに置き換えます。ポリシーが有効になるまでに最大 15 分かかります。

例: Prime を有効にしたジョブの作成を拒否する制約を作成する

gcloud

  1. 次の情報を含む denyPrimeJobs.yaml 制約ファイルを作成します。ORGANIZATION_ID は実際の組織 ID に置き換えます。

    name: organizations/ORGANIZATION_ID/customConstraints/custom.denyPrimeJobs
    resource_types: dataflow.googleapis.com/Job
    condition: "resource.environment.serviceOptions.exists(value, value=='enable_prime')"
    action_type: DENY
    method_types: CREATE
    display_name: Restrict creation of job with prime enabled
    description: Deny creation of jobs with prime enabled.
  2. カスタム制約を設定します。

    gcloud org-policies set-custom-constraint denyPrimeJobs.yaml
    
  3. 次の情報を含む enforce-policy-denyPrimeJobs.yaml ポリシー ファイルを作成します。この例では、制約はプロジェクト レベルで適用されます。この制約は、組織レベルで設定することも、フォルダレベルで設定することもできます。PROJECT_ID は実際のプロジェクト ID に置き換えます。

          name: projects/PROJECT_ID/policies/custom.denyPrimeJobs
          spec:
            rules:
    enforce: true
  4. 次のコマンドを実行してポリシーを適用します。

    gcloud org-policies set-policy enforce-policy-denyPrimeJobs.yaml
    

  5. 制約をテストするには、enable_prime オプションを使用して Dataflow ジョブを作成してみてください。Java を使用して Dataflow パイプラインを作成するクイックスタートに従って、WordCount ジョブを作成します。

    mvn -Pdataflow-runner compile \
    exec:java \
    -Dexec.mainClass=org.apache.beam.examples.WordCount \
    -Dexec.args="--project=PROJECT_ID \
    --gcpTempLocation=gs://BUCKET_NAME/temp/ \
    --output=gs://BUCKET_NAME/output \
    --runner=DataflowRunner \
    --region=us-central1 \
    --dataflowServiceOptions=enable_prime" \
    -Pdataflow-runner
    

    出力は次のようになります。

    "details" : [ {
      "@type" : "type.googleapis.com/google.rpc.ErrorInfo",
      "reason" : "CUSTOM_ORG_POLICY_VIOLATION"
    }]

    監査ログには、次のような違反の詳細が表示されます。

      policyViolationInfo: {
        orgPolicyViolationInfo: {
        violationInfo: [
        0: {
          constraint: "customConstraints/custom.denyPrimeJobs"
          errorMessage: "Restrict creation of job with prime enabled"
          policyType: "CUSTOM_CONSTRAINT"
        }]}}

条件の式フィールド

次の表に、条件の作成に使用できる式フィールドを示します。条件は Common Expression Language(CEL)で記述します。式フィールドの値では、大文字と小文字が区別されます。

次の式フィールドの説明と指定できる値については、Dataflow の Job JSON 表現をご覧ください。

式フィールド 値の型
name string
type string
transformNameMapping map
location string
environment message
environment.serviceOptions list of string
environment.serviceKmsKeyName string
environment.serviceAccountEmail string
environment.workerRegion string
environment.workerZone string
environment.streamingMode string
environment.debugOptions message
environment.debugOptions.enableHotKeyLogging bool

サンプル ユースケース

次の表にユースケースの例を示します。

ユースケース アクション カスタム制約
Prime ジョブの使用を禁止する DENY resource.environment.serviceOptions.exists(value, value=='enable_prime')
プロジェクト メタデータに保存された SSH 認証鍵を VM が受け入れないようにします。 DENY !resource.environment.serviceOptions.exists(value, value=='block_project_ssh_keys')
実行時間の最大秒数が設定されていないジョブを禁止する DENY !resource.environment.serviceOptions.exists(value, value.contains('max_workflow_runtime_walltime_seconds=')

次のステップ