Dataplex 로그 모니터링

Cloud Logging에서 Dataplex 작업 로그를 보고 검색하고 필터링하고 보관처리할 수 있습니다.

비용을 알아보려면 Google Cloud Observability 가격 책정을 참조하세요.
로깅 보관에 대한 자세한 내용은 로그 보관 기간을 참조하세요.
모든 로그를 사용 중지하거나 로깅에서 로그를 제외하려면 제외 필터를 참조하세요.
Logging에서 Cloud Storage, BigQuery 또는 Pub/Sub로 로그를 라우팅하려면 라우팅 및 스토리지 개요를 참조하세요.

Logging에서 Dataplex 서비스 로그에 액세스

Dataplex는 다음 서비스 로그를 Cloud Logging에 게시합니다.

로그 유형	로그 이름	`logName` 쿼리	로그 설명
데이터 검사 이벤트 로그	`dataplex.googleapis.com/data_scan`	`logName=(projects/$PROJECT_ID/logs/dataplex.googleapis.com%2Fdata_scan)`	작업 상태, 결과 및 통계를 나타내는, 데이터 검사 작업의 이벤트 로그
데이터 품질 검사 규칙 결과 로그	`dataplex.googleapis.com/data_quality_scan_rule_result`	`logName=(projects/$PROJECT_ID/logs/dataplex.googleapis.com%2Fdata_quality_scan_rule_result)`	데이터 품질 작업의 데이터 품질 검사 규칙 결과
검색 로그	`dataplex.googleapis.com/discovery`	`logName=(projects/$PROJECT_ID/logs/dataplex.googleapis.com%2Fdiscovery)`	영역의 애셋 검색 진행 상황 및 업데이트
메타데이터 작업 로그	`dataplex.googleapis.com/metadata_job`	`logName=(projects/$PROJECT_ID/logs/dataplex.googleapis.com%2Fmetadata_job)`	메타데이터 가져오기 파일의 메타데이터 가져오기 작업 및 가져오기 항목에 관한 로그
로그 처리	`dataplex.googleapis.com/process`	`logName=(projects/$PROJECT_ID/logs/dataplex.googleapis.com%2Fprocess)`	데이터 처리 태스크로 인한 작업 실행

Google Cloud 콘솔의 로그 탐색기, gcloud logging 명령어 또는 Logging API를 사용하여 Logging에 액세스할 수 있습니다.

데이터 검사 이벤트 로그 쿼리하기

Dataplex를 사용하여 데이터 검사를 생성하고 실행하면 그 결과로 생성된 작업에 대한 데이터 검사 이벤트 로그가 Logging에 생성됩니다.

콘솔

Google Cloud 콘솔에서 로그 탐색기 페이지로 이동합니다.

로그 탐색기로 이동
로그 탐색기 뷰에서 쿼리 탭을 찾습니다.
리소스 메뉴를 클릭합니다.
Cloud Dataplex DataScan를 선택하고 적용을 클릭합니다.
로그 이름 메뉴를 클릭합니다.
로그 이름 검색 필드에 dataplex.googleapis.com%2Fdata_scan을 입력합니다. data_scan을 선택하고 적용을 클릭합니다.
선택 사항: 로그 쿼리에 다음 필터를 추가하여 특정 데이터 스캔 ID 또는 위치로 로그를 필터링합니다.
```
resource.labels.location="LOCATION"
resource.labels.datascan_id="DATA_SCAN_ID"
```
쿼리 실행을 클릭합니다.

gcloud

데이터 스캔 이벤트 로그 항목을 읽으려면 다음 쿼리와 함께 gcloud logging read 명령어를 사용합니다.

gcloud logging read \
    'resource.type="dataplex.googleapis.com/DataScan" AND
    logName=projects/PROJECT_ID/logs/dataplex.googleapis.com%2Fdata_scan AND
    resource.labels.location=LOCATION AND
    resource.labels.datascan_id=DATA_SCAN_ID'
    --limit 10

REST

로그 항목을 나열하려면 entries.list 메서드를 사용합니다.

데이터 품질 검사 규칙 결과 로그 쿼리하기

Dataplex를 사용하여 데이터 품질 검사를 생성하고 실행하면 그 결과로 생성된 작업에 대한 데이터 품질 검사 규칙 결과 로그가 Logging에 생성됩니다.

콘솔

Google Cloud 콘솔에서 로그 탐색기 페이지로 이동합니다.

로그 탐색기로 이동
로그 탐색기 뷰에서 쿼리 탭을 찾습니다.
리소스 메뉴를 클릭합니다.
Cloud Dataplex DataScan를 선택하고 적용을 클릭합니다.
로그 이름 메뉴를 클릭합니다.
로그 이름 검색 필드에 dataplex.googleapis.com%2Fdata_quality_scan_rule_result을 입력합니다. data_quality_scan_rule_result를 선택하고 적용을 클릭합니다.
선택 사항: 로그 쿼리에 다음 필터를 추가하여 특정 데이터 스캔 ID 또는 위치로 로그를 필터링합니다.
```
resource.labels.location="LOCATION"
resource.labels.datascan_id="DATA_SCAN_ID"
```
쿼리 실행을 클릭합니다.

gcloud

데이터 품질 스캔 규칙 결과 로그 항목을 읽으려면 다음 쿼리와 함께 gcloud logging read 명령어를 사용합니다.

gcloud logging read \
    'resource.type="dataplex.googleapis.com/DataScan" AND
    logName=projects/PROJECT_ID/logs/dataplex.googleapis.com%2Fdata_quality_scan_rule_result AND
    resource.labels.location=LOCATION AND
    resource.labels.datascan_id=DATA_SCAN_ID'
    --limit 10

REST

로그 항목을 나열하려면 entries.list 메서드를 사용합니다.

검색 로그 쿼리하기

Dataplex를 사용하여 애셋에서 데이터를 검색하는 경우 검색 로그가 Logging에서 생성됩니다

콘솔

Google Cloud 콘솔에서 로그 탐색기 페이지로 이동합니다.

로그 탐색기로 이동
로그 탐색기 뷰에서 쿼리 탭을 찾습니다.
리소스 메뉴를 클릭합니다.
Cloud Dataplex 영역을 선택합니다. 적용을 클릭합니다.
로그 이름 메뉴를 클릭합니다.
로그 이름 검색 필드에 dataplex.googleapis.com%2Fdiscovery을 입력합니다. 검색을 선택하고 적용을 클릭합니다.

선택사항: 로그 쿼리에 다음 필터를 추가하여 로그를 특정 애셋으로 필터링합니다.

resource.labels.location="LOCATION"
resource.labels.lake_id="LAKE_ID"
resource.labels.zone_id="ZONE_ID"
jsonPayload.assetId="ASSET_ID"

쿼리 실행을 클릭합니다.

gcloud

검색 로그 항목을 읽으려면 다음 쿼리와 함께 gcloud logging read 명령어를 사용하세요.

gcloud logging read \
    'resource.type="dataplex.googleapis.com/Zone" AND
    logName=projects/PROJECT_ID/logs/dataplex.googleapis.com%2Fdiscovery AND
    resource.labels.location=LOCATION AND
    resource.labels.lake_id=LAKE_ID AND
    resource.labels.zone_id=ZONE_ID AND
    jsonPayload.assetId=ASSET_ID'
    --limit 10

REST

로그 항목을 나열하려면 entries.list 메서드를 사용합니다.

메타데이터 작업 로그 쿼리

메타데이터 가져오기 작업을 실행하면 Logging에 메타데이터 작업 로그가 생성됩니다.

콘솔

Google Cloud 콘솔에서 로그 탐색기 페이지로 이동합니다.

로그 탐색기로 이동
로그 탐색기 뷰에서 쿼리 탭을 찾습니다.
리소스 메뉴를 클릭합니다.
Cloud Dataplex 메타데이터 작업을 선택합니다.
선택사항: 특정 위치 또는 메타데이터 작업 ID로 로그를 필터링하려면 위치 또는 작업 ID를 선택합니다.
적용을 클릭합니다.
로그 이름 메뉴를 클릭합니다.
dataplex.googleapis.com%2Fmetadata_job을 입력한 다음 metadata_job을 선택합니다.
적용을 클릭합니다.

gcloud

메타데이터 작업 로그 항목을 읽으려면 다음 쿼리와 함께 gcloud logging read 명령어를 사용하세요.

gcloud logging read \
    'resource.type="dataplex.googleapis.com/MetadataJob" AND
    logName=projects/PROJECT_ID/logs/dataplex.googleapis.com%2Fmetadata_job AND
    resource.labels.location=LOCATION AND
    resource.labels.metadata_job_id=METADATA_JOB_ID
    --limit 10

REST

로그 항목을 나열하려면 entries.list 메서드를 사용합니다.

프로세스 로그 쿼리하기

Dataplex를 사용하여 태스크를 예약하고 실행하면 결과 작업에 대한 프로세스 로그가 Logging에 생성됩니다

콘솔

Google Cloud 콘솔에서 로그 탐색기 페이지로 이동합니다.

로그 탐색기로 이동
로그 탐색기 뷰에서 쿼리 탭을 찾습니다.
리소스 메뉴를 클릭합니다.
Cloud Dataplex 태스크를 선택합니다. 적용을 클릭합니다.
로그 이름 메뉴를 클릭합니다.
로그 이름 검색 필드에 dataplex.googleapis.com%2Fprocess을 입력합니다. 프로세스를 선택하고 적용을 클릭합니다.
선택사항: 로그 쿼리에 다음 필터를 추가하여 로그를 특정 태스크로 필터링합니다.
```
resource.labels.location="LOCATION"
resource.labels.lake_id="LAKE_ID"
resource.labels.task_id="TASK_ID"
```
쿼리 실행을 클릭합니다.

gcloud

프로세스 로그 항목을 읽으려면 다음 쿼리와 함께 gcloud logging read 명령어를 사용합니다.

gcloud logging read \
    'resource.type="dataplex.googleapis.com/Task" AND
    logName=projects/PROJECT_ID/logs/dataplex.googleapis.com%2Fprocess AND
    resource.labels.location=LOCATION AND
    resource.labels.lake_id=LAKE_ID AND
    resource.labels.task_id=TASK_ID'
    --limit 10

REST

로그 항목을 나열하려면 entries.list 메서드를 사용합니다.

다음 단계

Cloud Logging에 대해 자세히 알아보기
Dataplex 모니터링에 대해 알아보기