데이터 계보 관련 문제 해결

이 문서에서는 Data Catalog 데이터 계보 관련 문제를 해결하는 방법을 설명합니다.

프로젝트 유형

데이터 애셋은 서로 다른 프로젝트에 있을 수 있습니다. 다음은 가능한 프로젝트 및 애셋 이름에 대한 요약입니다.

BigQuery 스토리지 프로젝트

이 프로젝트에는 BigQuery 데이터 애셋이 저장됩니다. 애셋 세부정보에서 첫 번째 점 앞에 있는 Table ID의 일부로 찾을 수 있습니다.

컴퓨팅 프로젝트

이 프로젝트는 데이터 계보 메타데이터를 저장합니다. BigQuery의 경우 여기에서 작업을 실행합니다. Google Cloud 콘솔을 사용하여 작업을 실행하는 경우 프로젝트 선택기에서 컴퓨팅 프로젝트 이름을 찾을 수 있습니다.

BigQuery API에 요청을 전송할 때 URL에 컴퓨팅 프로젝트를 지정합니다. 예를 들면 다음과 같습니다.

POST /bigquery/v2/projects/docs-compute/jobs HTTP/1.1
Host: bigquery.googleapis.com
User-Agent: Go-http-client/1.1
Authorization: <REDACTED 1031 BYTES>
Accept-Encoding: gzip
{
  "configuration": {
    "query": {
      "useLegacySql": false,
      "query": "CREATE OR REPLACE TABLE `docs-target.dataset.target-002` AS SELECT * FROM `docs-source.dataset.source-002`;"
    }
  },
  "jobReference": {
    "projectId": "docs-compute",
    "jobId": "docs-compute-job-id",
    "location": "us",
  }
}

활성 프로젝트

데이터 계보를 보고 있는 프로젝트입니다. Google Cloud 콘솔에 프로젝트 선택기의 활성 프로젝트가 표시됩니다. API를 사용하는 경우 활성 프로젝트는 API를 호출을 수행하는 프로젝트입니다.

BigQuery 데이터 계보가 표시되지 않음

BigQuery 작업을 실행한 후 다음 문제가 발생합니다. 이 경우 다음 세 가지 시나리오로 인해 문제가 발생할 수 있습니다.

• 활성 프로젝트 또는 컴퓨팅 프로젝트에서 Data Lineage API가 사용 중지되었습니다.
• 활성 또는 컴퓨팅 프로젝트에 데이터 계보 뷰어(roles/datalineage.viewer)가 없습니다.
• 데이터 라인이 아직 도착하지 않았습니다. 처리되는 데이터의 볼륨과 복잡성에 따라 데이터 계보를 표시하는 데 표준 30분에서 최대 24시간이 걸릴 수 있습니다.

페이지 하단에 '권한이 누락되어 계보를 가져오지 못했습니다.'라는 메시지가 표시되면 활성 프로젝트에 대한 권한이 없는 것입니다. 그렇지 않으면 컴퓨팅 프로젝트에 대한 권한이 없는 것입니다.

이 문제를 해결하려면 컴퓨팅 프로젝트에 Data Lineage API가 사용 설정되어 있는지 확인합니다. API를 사용 설정한 후 데이터 계보를 확인하는 작업을 실행해야 합니다. 처리되는 데이터의 양과 복잡성에 따라 데이터 계보를 표시하는 데 표준 30분에서 최대 24시간이 걸릴 수 있습니다.

그런 다음 활성 프로젝트에 대해 Data Lineage API가 사용 설정되어 있는지 확인합니다.

Data Lineage API가 사용 설정되면 활성 및 컴퓨팅 프로젝트 모두에 데이터 계보 뷰어 (roles/datalineage.viewer)를 부여합니다.

BigQuery 프로세스 메타데이터가 표시되지 않음

테이블 세부정보 창을 열면 다음과 같이 SQL 문이나 Process type 속성과 같은 일부 세부정보가 표시되지 않는 문제가 발생합니다. 이것은 데이터 계보가 올바르게 표시되는 경우에도 발생합니다.

컴퓨팅 프로젝트에서 메타데이터를 볼 권한이 없는 경우 이러한 문제가 발생할 수 있습니다.

예:

• BigQuery 소스 테이블: docs-source.dataset.source-001
• BigQuery 대상 테이블: docs-target.dataset.target-001
• 컴퓨팅 프로젝트 docs-compute의 docs-source.dataset.source-001과 docs-target.dataset.target-001 사이의 데이터 계보
• 활성 및 컴퓨팅 docs-compute 프로젝트에 대한 데이터 계보 뷰어 역할이 있습니다.

BigQuery 프로세스 세부정보를 클릭하면 Google Cloud 콘솔에 다음 메시지가 표시됩니다.

You don't have permission to view BigQuery process metadata in project X.

이 문제를 해결하려면 컴퓨팅 프로젝트에서 사용자에게 bigquery.jobs.get 권한(예: BigQuery 리소스 뷰어 역할에 포함)을 부여합니다.

BigQuery 테이블 세부정보가 표시되지 않음

Fully qualified name 속성만 표시되는 테이블 세부정보 창을 열면 다음과 같은 문제가 발생합니다. 이것은 데이터 계보가 올바르게 표시되는 경우에도 발생합니다. 테이블의 스토리지 프로젝트에 필요한 권한이 모두 없는 경우 이러한 문제가 발생할 수 있습니다.

예:

• BigQuery 테이블 docs-source.dataset.source-001
• BigQuery 테이블 docs-target.dataset.target-001
• 컴퓨팅 프로젝트 docs-compute를 사용하는 docs-source.dataset.source-001과 docs-target.dataset.target-001 사이의 데이터 계보
• 활성 및 컴퓨팅 docs-compute 프로젝트에 대한 데이터 계보 뷰어 역할이 있습니다.

이 경우 BigQuery 노드 세부정보를 클릭하면 Entry with this fully qualified name is not available in the Data Catalog 메시지가 표시됩니다.

이 문제를 해결하려면 스토리지 프로젝트에서 bigquery.tables.get 권한(예: BigQuery 데이터 뷰어 역할에 포함됨)을 부여합니다.