자동 데이터 품질 사용

이 페이지에서는 Dataplex 데이터 품질 스캔을 만드는 방법을 설명합니다.

데이터 품질 스캔에 대한 자세한 내용은 자동 데이터 품질 정보를 참조하세요.

시작하기 전에

1. Dataplex API를 사용 설정합니다.

   API 사용 설정하기

2. 선택사항: Dataplex에서 데이터 프로파일링 스캔 결과를 기반으로 데이터 품질 규칙 권장사항을 생성하게 하려면 데이터 프로파일링 스캔을 만들고 실행합니다.

권한

• BigQuery 테이블에서 데이터 품질 스캔을 실행하려면 BigQuery 테이블을 읽을 수 있는 권한과 테이블을 스캔하는 데 사용된 프로젝트에서 BigQuery 작업을 만들 수 있는 권한이 있어야 합니다.

• BigQuery 테이블과 데이터 품질 스캔이 서로 다른 프로젝트에 있는 경우 데이터 품질 스캔이 포함된 프로젝트의 Dataplex 서비스 계정에 해당 BigQuery 테이블에 대한 읽기 권한을 부여해야 합니다.

• 데이터 품질 규칙이 추가 테이블을 참조하는 경우 스캔 프로젝트의 서비스 계정에 동일한 테이블에 대한 읽기 권한이 있어야 합니다.

• 스캔 결과를 BigQuery 테이블로 내보내는 데 필요한 권한을 얻으려면 관리자에게 Dataplex 서비스 계정에 결과 데이터 세트 및 테이블에 대한 BigQuery 데이터 편집자(roles/bigquery.dataEditor) IAM 역할을 부여해달라고 요청하세요. 그러면 다음 권한을 부여합니다.

  • bigquery.datasets.get
  • bigquery.tables.create
  • bigquery.tables.get
  • bigquery.tables.getData
  • bigquery.tables.update
  • bigquery.tables.updateData

• BigQuery 데이터가 Dataplex 레이크에 구성되어 있으면 Dataplex 서비스 계정에 roles/dataplex.metadataReader 및 roles/dataplex.viewer 역할을 부여합니다. 또는 다음 권한이 모두 필요합니다.

  • dataplex.lakes.list
  • dataplex.lakes.get
  • dataplex.zones.list
  • dataplex.zones.get
  • dataplex.entities.list
  • dataplex.entities.get
  • dataplex.operations.get

• Cloud Storage에서 BigQuery 외부 테이블을 스캔하는 경우 Dataplex 서비스 계정에 버킷에 대한 Cloud Storage roles/storage.objectViewer 역할을 부여합니다. 또는 Dataplex 서비스 계정에 다음 권한을 할당합니다.

  • storage.buckets.get
  • storage.objects.get

• 소스 테이블의 Google Cloud 콘솔에서 BigQuery 및 Data Catalog 페이지에 데이터 품질 스캔 결과를 게시하려면 테이블에 대한 BigQuery 데이터 편집자(roles/bigquery.dataEditor) IAM 역할 또는 bigquery.tables.update 권한을 부여받아야 합니다.

• BigQuery 열 수준 액세스 정책으로 보호되는 열에 액세스해야 하는 경우 해당 열에 Dataplex 서비스 계정 권한을 할당합니다. 데이터 스캔을 만들거나 업데이트하는 사용자는 열에 대한 권한도 필요합니다.

• 테이블에 BigQuery 행 수준 액세스 정책이 사용 설정되어 있으면 Dataplex 서비스 계정에 표시되는 행만 스캔할 수 있습니다. 개별 사용자의 액세스 권한은 행 수준 정책에 따라 평가되지 않습니다.

데이터 스캔 권한 및 역할

자동 데이터 품질을 사용하려면 데이터 스캔을 실행할 권한이나 데이터 스캔을 실행할 수 있는 사전 정의된 권한이 있는 역할이 필요합니다.

다음 표에는 DataScan 권한이 나와 있습니다.

사용자에게 다음 역할 중 하나 이상을 부여합니다.

• roles/dataplex.dataScanAdmin: DataScan 리소스에 대한 전체 액세스 권한입니다.
• roles/dataplex.dataScanEditor: DataScan 리소스에 대한 쓰기 액세스 권한입니다.
• roles/dataplex.dataScanViewer: 규칙과 결과를 제외한 DataScan 리소스에 대한 읽기 액세스 권한입니다.
• roles/dataplex.dataScanDataViewer: 규칙 및 결과를 포함한 DataScan 리소스에 대한 읽기 액세스 권한입니다.

데이터 품질 규칙 정의

기본 제공 규칙 또는 커스텀 SQL 검사를 사용하여 데이터 품질 규칙을 정의할 수 있습니다. Google Cloud CLI를 사용하는 경우 JSON 또는 YAML 파일에서 이러한 규칙을 정의할 수 있습니다.

다음 섹션의 예시에서는 다양한 데이터 품질 규칙을 정의하는 방법을 보여줍니다. 이 규칙은 고객 트랜잭션에 대한 데이터가 포함된 샘플 테이블의 유효성을 검사합니다. 테이블에는 다음과 같은 스키마가 있습니다.

기본 제공 규칙 유형을 사용하여 데이터 품질 규칙 정의

다음 예시 규칙은 기본 제공 규칙 유형을 기반으로 합니다. 기본 제공 규칙 유형을 기반으로 Google Cloud 콘솔 또는 API를 사용하여 규칙을 만들 수 있습니다. Dataplex에서 이러한 규칙 중 일부를 추천할 수 있습니다.

커스텀 SQL 규칙을 사용하여 데이터 품질 규칙 정의

커스텀 SQL 규칙을 빌드하려면 다음 프레임워크를 사용합니다.

• 한 번에 하나의 행을 평가하는 규칙을 만드는 경우 Dataplex가 SELECT COUNTIF(CUSTOM_SQL_EXPRESSION) FROM TABLE 쿼리를 평가할 때 성공적인 행 수를 생성하는 표현식을 만듭니다. Dataplex는 임곗값에 대해 성공한 행 수를 확인합니다.

• 여러 행에서 평가되거나 테이블 조건을 사용하는 규칙을 만드는 경우 Dataplex에서 SELECT IF(CUSTOM_SQL_EXPRESSION) FROM TABLE 쿼리를 평가할 때 성공이나 실패를 반환하는 표현식을 만듭니다.

• 데이터 세트의 잘못된 상태를 평가하는 규칙을 만드는 경우 잘못된 행을 반환하는 문을 제공합니다. 반환되는 행이 있으면 규칙이 실패합니다. SQL 문에서 후행 세미콜론을 생략합니다.

• 소스 테이블과 해당 필터를 명시적으로 언급하는 대신 규칙에서 데이터 참조 매개변수 ${data()}를 사용하여 데이터 소스 테이블과 모든 전제조건 필터를 참조할 수 있습니다. 전제조건 필터의 예로는 행 필터, 샘플링 비율, 증분 필터가 있습니다. ${data()} 매개변수는 대소문자를 구분합니다.

다음 예시 규칙은 커스텀 SQL 규칙을 기반으로 합니다.

        CREATE OR REPLACE FUNCTION
        myProject.myDataset.average_by_country (
          country STRING, average FLOAT64)
        RETURNS BOOL LANGUAGE js AS R"""
        if (country = "CAN" && average < 5000){
          return 1
        } else if (country = "IND" && average < 1000){
          return 1
        } else { return 0 }
        """;
       

        myProject.myDataset.average_by_country(
        "CAN",
        (SELECT avg(amount) FROM
          myProject.myDataset.transactions_table
            WHERE currency_id = 'CAN'
        ))
      

  CREATE MODEL
  model-project-id.dataset-id.model-name
        OPTIONS(model_type='logistic_reg') AS
  SELECT
  IF(discount_pct IS NULL, 0, 1) AS label,
  IFNULL(customer_id, "") AS customer,
  IFNULL(currency_id, "") AS currency,
  IFNULL(amount, 0.0) AS amount
  FROM
  `data-project-id.dataset-id.table-names`
  WHERE transaction_timestamp < '2022-01-01';
  

      SELECT
        accuracy > 0.99
      FROM
       ML.EVALUATE
        (MODEL model-project-id.dataset-id.model-name,
         (
          SELECT
            customer_id,
            currency_id,
            amount,
            discount_pct
          FROM
            data-project-id.dataset-id.table-names
          WHERE transaction_timestamp > '2022-01-01';
         )
        )
    

  CREATE MODEL
  model-project-id.dataset-id.model-name
        OPTIONS(model_type='logistic_reg') AS
  SELECT
  IF(discount_pct IS NULL, 0, 1) AS label,
  IFNULL(customer_id, "") AS customer,
  IFNULL(currency_id, "") AS currency,
  IFNULL(amount, 0.0) AS amount
  FROM
  `data-project-id.dataset-id.table-names`
  WHERE transaction_timestamp < '2022-01-01';
  

       IF(discount_pct > 0, 1, 0)
          =(SELECT predicted_label FROM
           ML.PREDICT(
            MODEL model-project-id.dataset-id.model-name,
              (
                SELECT
                  customer_id,
                  currency_id,
                  amount,
                  discount_pct
                FROM
                  data-project-id.dataset-id.table-names AS t
                    WHERE t.transaction_timestamp =
                     transaction_timestamp
                   LIMIT 1
              )
            )
         )
    

gcloud CLI를 사용하여 데이터 품질 규칙 정의

다음 YAML 파일 예시에서는 기본 제공 유형을 사용하는 샘플 규칙 및 샘플 커스텀 SQL 규칙과 동일한 규칙 일부를 사용합니다. 이 YAML 파일을 gcloud CLI 명령어의 입력으로 사용할 수 있습니다.

rules:
- uniquenessExpectation: {}
  column: transaction_id
  dimension: UNIQUENESS
- nonNullExpectation: {}
  column: amount
  dimension: COMPLETENESS
  threshold: 1
- regexExpectation:
    regex: '^[0-9]{8}[a-zA-Z]{16}$'
  column : customer_id
  ignoreNull : true
  dimension : VALIDITY
  threshold : 1
- setExpectation :
    values :
    - 'USD'
    - 'JPY'
    - 'INR'
    - 'GBP'
    - 'CAN'
  column : currency_id
  ignoreNull : true
  dimension : VALIDITY
  threshold : 1
- rangeExpectation:
    minValue : '0'
    maxValue : '100'
  column : discount_pct
  ignoreNull : true
  dimension : VALIDITY
  threshold : 1
- rowConditionExpectation:
    sqlExpression : 0 < `discount_pct` AND `discount_pct` < 100
  column: discount_pct
  dimension: VALIDITY
  threshold: 1
- rowConditionExpectation:
    sqlExpression : currency_id in (select id from `my_project_id.dim_dataset.dim_currency`)
  column: currency_id
  dimension: VALIDITY
  threshold: 1
- tableConditionExpectation:
    sqlExpression : 30 < avg(discount_pct) AND avg(discount_pct) < 50
  dimension: VALIDITY
- rowConditionExpectation:
    sqlExpression : TIMESTAMP(transaction_timestamp) < CURRENT_TIMESTAMP()
  column: transaction_timestamp
  dimension: VALIDITY
  threshold: 1
- sqlAssertion:
    sqlStatement : SELECT * FROM `my_project_id.dim_dataset.dim_currency` WHERE discount_pct > 100
  dimension: VALIDITY

데이터 품질 스캔 만들기

gcloud dataplex datascans create data-quality DATASCAN \
    --location=LOCATION \
    --data-quality-spec-file=DATA_QUALITY_SPEC_FILE \
    --data-source-entity=DATA_SOURCE_ENTITY

gcloud dataplex datascans create data-quality DATASCAN \
    --location=LOCATION \
    --data-quality-spec-file=DATA_QUALITY_SPEC_FILE \
    --data-source-resource=DATA_SOURCE_RESOURCE

테이블 스키마 내보내기

데이터 품질 스캔 결과를 기존 BigQuery 테이블로 내보내려면 다음 테이블 스키마와 호환되는지 확인합니다.

데이터 품질 스캔 작업에 BigQueryExport를 구성할 때 다음 가이드라인을 따르세요.

• resultsTable 필드에 //bigquery.googleapis.com/projects/{project-id}/datasets/{dataset-id}/tables/{table-id} 형식을 사용합니다.
• BigQuery 표준 테이블을 사용합니다.
• 스캔을 만들거나 업데이트할 때 테이블이 없으면 Dataplex에서 테이블을 만듭니다.
• 기본적으로 테이블의 job_start_time 열은 매일 파티션을 나눕니다.
• 테이블을 다른 구성으로 나누고 싶거나 파티션을 원하지 않는 경우 필요한 스키마와 구성으로 테이블을 다시 생성한 다음 미리 생성된 테이블을 결과 테이블로 제공합니다.
• 결과 테이블이 소스 테이블과 동일한 위치에 있는지 확인합니다.
• 프로젝트에 VPC-SC가 구성되어 있으면 결과 테이블이 소스 테이블과 동일한 VPC-SC 경계에 있어야 합니다.
• 스캔 실행 단계 중에 테이블이 수정되면 현재 실행 중인 작업이 이전 결과 테이블로 내보내지고 테이블 변경사항이 다음 스캔 작업에서 적용됩니다.
• 테이블 스키마를 수정하지 마세요. 맞춤설정된 열이 필요하면 테이블에 뷰를 만듭니다.
• 비용을 줄이려면 사용 사례에 따라 파티션에 만료 시간을 설정합니다. 자세한 내용은 파티션 만료 시간 설정 방법을 참조하세요.

데이터 품질 스캔 실행

gcloud dataplex datascans run DATASCAN \
--location=LOCATION \

데이터 품질 스캔 결과 보기

gcloud dataplex datascans jobs describe JOB \
--location=LOCATION \
--datascan=DATASCAN \
--view=FULL

이전 스캔 결과 보기

Dataplex는 지난 300개 작업 또는 지난 1년 동안의 데이터 품질 스캔 기록 중 먼저 발생하는 작업을 저장합니다.

gcloud dataplex datascans jobs list \
--location=LOCATION \
--datascan=DATASCAN \

게시된 결과 공유

데이터 품질 스캔을 만들 때 Google Cloud 콘솔의 BigQuery 및 Data Catalog 페이지에 스캔 결과를 게시하도록 선택한 경우 해당 페이지의 데이터 품질 탭에서 최신 스캔 결과를 사용할 수 있습니다.

조직의 사용자가 게시된 스캔 결과에 액세스하도록 설정할 수 있습니다. 스캔 결과에 대한 액세스 권한을 부여하려면 다음 단계를 따르세요.

1. Google Cloud 콘솔에서 데이터 품질 페이지로 이동합니다.

   데이터 품질로 이동

2. 결과를 공유할 데이터 품질 스캔을 클릭합니다.

3. 권한 탭으로 이동합니다.

4. 액세스 권한 부여를 클릭합니다.

5. 새 주 구성원 필드에 액세스 권한을 부여할 주 구성원을 추가합니다.

6. 역할 선택 필드에서 Dataplex DataScan DataViewer를 선택합니다.

7. 저장을 클릭합니다.

주 구성원의 게시된 스캔 결과에 대한 액세스 권한을 삭제하려면 다음 단계를 따르세요.

1. Google Cloud 콘솔에서 데이터 품질 페이지로 이동합니다.

   데이터 품질로 이동

2. 결과를 공유할 데이터 품질 스캔을 클릭합니다.

3. 권한 탭으로 이동합니다.

4. Dataplex DataScan DataViewer 역할을 삭제할 주 구성원을 선택합니다.

5. 액세스 권한 삭제를 클릭합니다.

6. 확인을 클릭합니다.

Cloud Logging에서 알림 설정

Cloud Logging의 로그를 사용하여 데이터 품질 오류에 대한 알림을 설정하려면 다음 단계를 따르세요.

작업 수준 또는 측정기준 수준 알림 설정의 샘플 쿼리

• 데이터 품질 스캔의 전체 데이터 품질 오류에 대한 알림을 설정하는 샘플 쿼리:

  resource.type="dataplex.googleapis.com/DataScan"
  AND labels."dataplex.googleapis.com/data_scan_state"="SUCCEEDED"
  AND resource.labels.resource_container="projects/112233445566"
  AND resource.labels.datascan_id="a0-test-dec6-dq-3"
  AND NOT jsonPayload.dataQuality.passed=true
  

• 특정 데이터 품질 스캔의 측정기준(예: 고유성)과 관련된 데이터 품질 오류에 대한 알림을 설정하는 샘플 쿼리:

  resource.type="dataplex.googleapis.com/DataScan"
  AND labels."dataplex.googleapis.com/data_scan_state"="SUCCEEDED"
  AND resource.labels.resource_container="projects/112233445566"
  AND resource.labels.datascan_id="a0-test-dec6-dq-3"
  AND jsonPayload.dataQuality.dimensionPassed.UNIQUENESS=false
  

• 테이블의 데이터 품질 오류에 대한 알림을 설정하는 샘플 쿼리

  • Dataplex 레이크에 구성되지 않은 BigQuery 테이블의 데이터 품질 오류에 대한 알림을 설정합니다.

    resource.type="dataplex.googleapis.com/DataScan"
    AND jsonPayload.dataSource="//bigquery.googleapis.com/projects/test-project/datasets/testdataset/table/chicago_taxi_trips"
    AND labels."dataplex.googleapis.com/data_scan_state"="SUCCEEDED"
    AND resource.labels.resource_container="projects/112233445566"
    AND NOT jsonPayload.dataQuality.passed=true
    

  • Dataplex 레이크에 구성된 BigQuery 테이블의 데이터 품질 오류에 대한 알림을 설정합니다.

    resource.type="dataplex.googleapis.com/DataScan"
    AND jsonPayload.dataSource="projects/test-project/datasets/testdataset/table/chicago_taxi_trips"
    AND labels."dataplex.googleapis.com/data_scan_state"="SUCCEEDED"
    AND resource.labels.resource_container="projects/112233445566"
    AND NOT jsonPayload.dataQuality.passed=true
    

규칙 알림별로 설정할 샘플 쿼리

• 데이터 품질 스캔에 지정된 커스텀 규칙 이름을 사용하여 실패한 모든 데이터 품질 규칙에 대한 알림을 설정하는 샘플 쿼리:

  resource.type="dataplex.googleapis.com/DataScan"
  AND jsonPayload.ruleName="custom-name"
  AND jsonPayload.result="FAILED"
  

• 데이터 품질 스캔에 대한 특정 평가 유형의 실패한 모든 데이터 품질 규칙에 대한 알림을 설정하는 샘플 쿼리:

  resource.type="dataplex.googleapis.com/DataScan"
  AND jsonPayload.evalutionType="PER_ROW"
  AND jsonPayload.result="FAILED"
  

• 데이터 품질 스캔에 사용되는 테이블의 열에 대해 실패한 모든 데이터 품질 규칙에 대한 알림을 설정하는 샘플 쿼리:

  resource.type="dataplex.googleapis.com/DataScan"
  AND jsonPayload.column="CInteger"
  AND jsonPayload.result="FAILED"
  

데이터 품질 오류 문제 해결

실패한 행 수준 규칙이 있는 각 작업에 대해 Dataplex는 실패한 레코드를 가져오는 쿼리를 제공합니다. 이 쿼리를 실행하여 규칙과 일치하지 않는 레코드를 확인합니다.

데이터 품질 스캔 업데이트

gcloud dataplex datascans update data-quality DATASCAN \
--location=LOCATION \
--description=DESCRIPTION

데이터 품질 스캔 삭제

gcloud dataplex datascans delete DATASCAN \
--location=LOCATION \
--async

다음 단계

• 데이터 프로파일링 알아보기
• 데이터 프로파일링 사용 방법 알아보기
• 튜토리얼에 따라 Terraform을 사용하여 데이터 품질 규칙을 코드로 관리하기