상태, 리소스 사용률, 작업 모니터링

BigQuery 관리자는 리소스 차트를 사용하여 시간 경과에 따른 조직의 상태, 슬롯 사용량, 작업 성능을 모니터링할 수 있습니다. 사용 가능한 차트는 다음과 같습니다.

• BigQuery의 운영 상태 모니터링. BigQuery 실시간 운영 상태 모니터링은 여러 위치에서 조직 전반의 BigQuery 사용량을 관찰할 수 있는 중앙 집중식 모니터링 시스템입니다.

• 관리 리소스 사용률 보기. 관리 리소스 차트의 기본 사용 사례에는 이전 리소스 사용률 및 성능 변화 진단에 따른 용량 계획의 근본 원인 분석이 포함됩니다.

운영 상태 대시보드를 보려면 관리 프로젝트로 액세스하는 예약이 하나 이상 있어야 합니다. 리소스 차트는 적절한 권한을 가진 모든 사용자가 사용할 수 있습니다.

필요한 역할

관리 리소스 차트의 모든 데이터를 보는 데 필요한 권한을 얻으려면 관리자에게 조직에 다음 IAM 역할을 부여해 달라고 요청하세요.

• BigQuery 리소스 뷰어(roles/bigquery.resourceViewer)
• BigQuery 메타데이터 뷰어(roles/bigquery.metadataViewer)

역할 부여에 대한 자세한 내용은 프로젝트, 폴더, 조직에 대한 액세스 관리를 참조하세요.

이러한 사전 정의된 역할에는 관리 리소스 차트의 모든 데이터를 보는 데 필요한 권한이 포함되어 있습니다. 필요한 정확한 권한을 보려면 필수 권한 섹션을 펼치세요.

필수 권한

관리 리소스 차트의 모든 데이터를 보려면 다음 권한이 필요합니다.

• 조직에 대한 bigquery.jobs.listExecutionMetadata or bigquery.jobs.listAll 권한
• 예약 관리 프로젝트에 대한 bigquery.reservationAssignments.list 권한
• 예약 관리 프로젝트에 대한 bigquery.capacityCommitments.list 권한
• 운영 상태의 요약 데이터를 보려면 조직에 대한 bigquery.tables.get or bigquery.tables.list 권한
• 예약 수준의 일부 데이터를 보려면 다음 권한이 필요합니다.
  • 예약 관리 프로젝트에 대한 bigquery.reservations.list 권한
  • 예약 관리 프로젝트에 대한 bigquery.reservationAssignments.list 권한
• 프로젝트 수준의 데이터를 보려면 프로젝트에 대한 bigquery.jobs.listAll 권한이 필요합니다.

커스텀 역할이나 다른 사전 정의된 역할을 사용하여 이 권한을 부여받을 수도 있습니다.

조직 전반의 운영 상태 모니터링

운영 상태 대시보드에는 예약이 있는 모든 위치에서 조직 및 예약에 대한 주요 측정항목이 표시됩니다. 이 대시보드를 사용하여 다음 측정항목을 모니터링할 수 있습니다.

• 슬롯 사용량
• 셔플 사용량
• 작업 동시 실행
• 오류
• 작업 기간
• 처리한 바이트
• 총 저장용량

운영 상태를 모니터링하려면 다음 단계를 따르세요.

1. BigQuery 페이지로 이동합니다.

   BigQuery로 이동

2. 프로젝트 메뉴에서 슬롯을 구매하고 예약을 만드는 데 사용한 관리 프로젝트를 선택합니다.

3. 탐색 패널에서 관리 > 모니터링을 선택합니다. 기본적으로 운영 상태 차트에는 모든 위치 및 모든 예약에 대한 요약 측정항목이 표시됩니다.

4. 더 자주 업데이트되는 데이터를 보려면 실시간 데이터를 전환하면 됩니다. 실시간 데이터를 사용설정하면 5분마다 데이터가 자동으로 새로고침됩니다. 실시간 데이터가 사용 중지된 경우 최대 데이터 비활성은 약 1시간입니다. 데이터의 마지막 업데이트 시간이 표시됩니다.

세부정보 뷰를 보려면 세부적인 타임라인 차트를 보려는 값을 선택합니다.

1. 위치 선택 목록에서 특정 리전을 선택합니다.
2. 예약 선택 목록에서 예약을 선택합니다.
3. 프로젝트 선택 목록에서 프로젝트를 선택합니다.
4. 기간 목록에서 기간을 선택합니다.
5. 주요 측정항목 차트 중 하나에서 자세한 정보를 확인하려면 더보기를 클릭합니다. 작업 탐색기에서 자세한 내용을 확인하려면 상위 활성 쿼리 차트와 통계 테이블에서 더보기를 클릭합니다.

BigQuery는 다음 INFORMATION_SCHEMA 뷰를 쿼리하여 이 정보를 제공합니다.

• INFORMATION_SCHEMA.JOBS
• INFORMATION_SCHEMA.JOBS_TIMELINE
• INFORMATION_SCHEMA.RESERVATIONS
• INFORMATION_SCHEMA.TABLE_STORAGE

뷰

운영 상태 탭에는 다음 뷰가 표시됩니다.

• 요약 뷰
• 세부정보 뷰

요약 뷰

요약 뷰에는 조직의 지난 30분 동안 예약 및 리전을 비롯한 하위 시스템의 상태가 표시됩니다.

요약 뷰를 보려면 다음을 수행합니다.

• 운영 상태 차트의 위치 선택 목록에서 모든 위치를 선택합니다.

세부정보 뷰

세부정보 뷰에는 위치 또는 예약 수준에서 여러 측정항목의 세부 타임라인 차트가 표시됩니다.

세부정보 뷰를 보려면 다음 안내를 따르세요.

• 운영 상태 차트의 위치 선택 목록에서 리전 또는 버전을 선택합니다.

다음과 같은 선택적 필터를 사용하여 세부정보 뷰에 표시되는 데이터를 더 세분화할 수 있습니다.

• 예약 선택 목록에서 예약 이름을 선택합니다.
• 프로젝트 선택 목록에서 프로젝트를 선택합니다.

차트

운영 상태 탭에는 다음과 같은 차트 구성 옵션이 표시됩니다.

• 요약 표(요약 뷰만 해당)
• 데이터 필터링 및 검색
• 측정항목 타임라인 차트(세부정보 뷰만 해당)
• 오류 도넛 차트
• 상위 작업 목록 막대 그래프
• 통계 테이블

요약 표

요약 테이블에는 다음 측정항목이 표시됩니다.

• 슬롯 사용량. 평균 슬롯 사용률입니다. 총 슬롯 용량은 기준 용량 및 자동 확장된 최대 용량과 같습니다.
• 셔플 사용량. 모든 평균 예약 셔플 사용량 비율의 최댓값입니다.
• 동시 실행. 동시에 실행된 최대 작업 수입니다.
• 처리된 바이트. 완료된 작업에서 처리한 총 바이트입니다.
• 작업 기간. 완료된 작업의 평균 실행 시간으로, 작업이 생성된 시간부터 작업이 종료된 시간까지 계산됩니다.
• 총 저장용량. 마지막 업데이트 시점의 총 활성 논리 바이트입니다.

위치 또는 예약별로 뷰에 표시되는 두 가지 요약 테이블이 있습니다. 각 테이블 행은 하나의 위치 또는 하나의 예약 사용을 나타냅니다.

테이블에는 마지막 업데이트 전 30분 동안의 측정항목이 표시됩니다. 실시간 데이터를 사용설정하면 5분마다 데이터가 자동으로 새로고침됩니다. 실시간 데이터가 사용 중지된 경우 최대 데이터 비활성은 약 1시간입니다.

측정항목이 기준점보다 높은 경우 테이블 셀에 색상이 지정됩니다. 모든 기준점은 사전 정의되어 있으며 맞춤설정할 수 없습니다. 반복된 작업에 대한 성능 통계가 증가하고 일반 측정항목 값보다 높으면 색상 코드가 적용됩니다. 마지막 업데이트 전 30분 동안의 측정항목 값이 지난주 같은 날의 사용량 P99 값보다 큰 경우 테이블 셀이 진한 파란색 배경으로 표시됩니다. 30분 동안의 측정항목 값이 지난주 같은 날의 사용량 P95~P99 값 사이인 경우 테이블 셀이 연한 파란색 배경으로 표시됩니다.

데이터 필터링

다음 값을 기준으로 차트의 데이터를 필터링할 수 있습니다.

• 위치. 지난 30일 이내에 조직의 활동이 있었던 리전에서 사용할 수 있습니다. 요약 뷰에는 모든 활성 리전의 사용량을 추적하기 위한 리전별 요약 테이블이 표시됩니다.
• 예약. 이 필드는 세부정보 뷰에서만 사용할 수 있습니다. 보기 관리 프로젝트에서 소유한 모든 예약을 사용할 수 있습니다. 예약은 하나만 선택할 수 있습니다.
• 프로젝트. 이 필드는 세부정보 뷰에서만 사용할 수 있습니다. 조직에 트래픽이 있는 모든 프로젝트를 사용할 수 있습니다. 프로젝트는 하나만 선택할 수 있습니다.
• 기간. 이 필드는 세부정보 뷰에서만 사용할 수 있습니다. 이 값은 세부정보 뷰의 측정항목 타임라인 차트와 오류 도트 차트에 영향을 미칩니다. 측정항목 타임라인 차트의 데이터 규모는 선택한 기간에 따라 자동으로 조정됩니다.

상위 활성 쿼리 차트

이 차트에는 활성 리소스가 있는 상위 10개 작업이 내림차순으로 정렬되어 표시됩니다. 드롭다운 메뉴를 사용하여 슬롯 사용량 또는 작업 기간을 기준으로 정렬 옵션을 선택할 수 있습니다. 작업 ID 및 관련 리소스 사용량 수가 막대 그래프에 표시됩니다. 작업 탐색기에서 세부정보를 보려면 더보기 또는 활성 상위 쿼리 차트에서 작업 ID를 선택합니다. 실행 세부정보에 대해 자세히 알아보고 BigQuery 작업의 성능 문제를 진단하려면 쿼리 실행 그래프를 참조하세요.

오류 도넛 차트

이 차트는 선택한 기간 동안 가장 많은 오류가 발생한 원인의 비율을 보여줍니다. 요약 뷰에서 기본값은 지난 30분입니다. 세부정보 뷰에서 기간 선택기는 범위를 제어합니다. 유형, 소유자 프로젝트 또는 예약별로 오류를 그룹화할 수 있습니다. 실패한 작업 수가 도넛 차트에 표시됩니다.

측정항목 타임라인 차트

이 차트에는 최대 30일 동안 지원되는 측정항목의 개요가 표시됩니다. 기본 기간은 1시간입니다. 선택한 기간이 변경되면 차트의 각 데이터 포인트의 세부사항이 자동으로 조정됩니다.

이 차트에는 리전 또는 예약에 대한 집계된 값이 표시됩니다. 여러 리전 또는 여러 예약의 데이터를 표시하는 기능은 지원되지 않습니다.

측정항목 타임라인 차트는 다음 측정항목을 지원합니다.

• 슬롯 사용량. 선택한 기간의 평균 슬롯 사용량입니다. 모든 작업과 실패한 작업의 전체 슬롯 사용량을 분리해서 표시합니다.
• 작업 동시 실행. 선택한 기간 동안 동시에 실행된 최대 작업 수입니다. 실행 중인 작업 수와 대기 중인 작업 수를 별도로 표시하며 누적 막대 그래프로 표시됩니다.
• 스캔한 바이트. 선택한 기간에 완료된 작업에서 처리한 총 바이트입니다.
• 셔플. 선택한 기간의 모든 예약 평균 셔플 사용량 비율의 최댓값입니다.
• 작업 기간. 선택한 기간에 완료된 작업의 평균 실행 시간으로, 작업 생성 시간부터 작업 종료 시간까지 계산됩니다.
• 유형별 오류. 오류 도넛 차트는 선택한 기간 동안 여러 오류 원인의 비율을 보여줍니다.

이 차트에는 측정항목 동향 외에도 지난주 같은 날의 사용량에 대한 P95 및 P99 측정항목 값의 참조선이 표시됩니다. 작업 동시 실행 차트의 경우 대기 중이거나 실행 중인 작업의 합계에 대한 기준점을 보여줍니다. 이러한 참조 값은 요약 테이블에서 색상 코딩 기준점으로 사용됩니다.

차트에 대해 자세히 알아보려면 더보기를 클릭합니다. 리소스 사용량 탭으로 리디렉션됩니다.

통계 테이블

이 테이블에는 선택한 기간 내에 작업 실행 중에 수집된 할당량 오류, 액세스 거부 오류, 성능 통계가 집계됩니다. 통계는 예약 수준에서 집계됩니다. 각 행에는 통계 유형, 위치, 예약, 통계 세부정보, 샘플 작업 ID에 관한 정보가 제공됩니다. 작업 ID를 클릭하여 작업 탐색기에서 작업 세부정보를 더 확인합니다. 요약 뷰에서 기본 관찰 기간은 지난 30분입니다. 세부정보 뷰에서 기간 선택기는 관측 데이터가 표시되는 특정 기간을 제어합니다.

단일 프로젝트의 운영 상태 모니터링

프로젝트 운영 상태 대시보드는 전체 조직에 액세스할 수 없거나 프로젝트에 예약이 없는 경우 기본적으로 표시되는 뷰입니다. 이 뷰는 조직 수준의 운영 상태 대시보드와 마찬가지로 프로젝트 분석가가 프로젝트의 시스템 상태를 모니터링하는 데 도움이 되지만 차트와 필터에는 프로젝트 수준 데이터만 표시됩니다.

리소스 사용률 보기

관리 리소스 차트의 데이터는 INFORMATION_SCHEMA.JOBS 뷰 및 INFORMATION_SCHEMA.JOBS_TIMELINE 뷰를 기반으로 하며, 실시간으로 업데이트되며 최대 30일까지 다시 돌아갑니다.

관리 리소스 차트를 사용하여 BigQuery 리소스 사용률을 확인할 수 있습니다. 이러한 리소스 차트에는 다음과 같은 세 가지 주요 대화형 구성요소가 있습니다.

• 이벤트 타임라인 차트는 최대 30일 동안의 데이터 개요를 보여줍니다. 기본값은 1일입니다.

• 기본 차트에는 조직이나 예약 관리 프로젝트에서 선택한 측정항목(슬롯 사용량, 작업 동시 실행, 작업 성능, 오류 또는 처리된 바이트)이 시간 경과에 따라 표시됩니다. 차트에는 차트의 데이터와 상관 관계가 있는 테이블 범례가 포함되어 해당 기간 동안 집계된 자세한 통계가 표시됩니다.

• 다양한 차트, 분석, 필터 옵션을 선택할 수 있는 측면 패널입니다.

다음 다이어그램은 BigQuery의 다양한 관리 차트 옵션을 간략히 보여줍니다.

시작하기 전에

1. In the Google Cloud console, on the project selector page, select or create a Google Cloud project.

   Go to project selector

   별도의 Google Cloud 프로젝트 예약 관리 프로젝트를 만들어 bq-COMPANY_NAME-admin과 같은 설명이 포함된 이름을 지정하여 예약을 관리할 수 있습니다.

2. Make sure that billing is enabled for your Google Cloud project.

3. Enable the BigQuery Reservation API.

   Enable the API

   자세한 내용은 BigQuery Reservation API 사용 설정을 참조하세요.

4. Google Cloud 콘솔에서 슬롯 할당량을 확인합니다.

   슬롯 할당량 보기

   슬롯을 구입하려면 슬롯을 구입하려는 리전에 대해 슬롯 할당량이 충분해야 합니다.

   리전의 슬롯 할당량이 구입하려는 슬롯 개수보다 적으면 할당량 증가 요청을 참조하세요.

관리 리소스 차트 보기

기본적으로 예약 관리 프로젝트에서 탐색 중일 때 버전 관리 리소스 차트에 액세스할 수 있습니다. 예약 관리 프로젝트(미리보기)에서는 주문형 관리 리소스 차트 또는 버전 관리 리소스 차트로 전환할 수 있습니다.

관리 리소스 차트를 보려면 다음 단계를 수행합니다.

1. BigQuery 페이지로 이동합니다.

   BigQuery로 이동

2. 프로젝트 메뉴에서 슬롯을 구매하고 예약을 만드는 데 사용한 관리 프로젝트를 선택합니다.

3. 탐색 패널에서 관리 > 모니터링을 선택합니다.

4. 차트 옵션 > 범위 섹션에서 세 가지 버전 및 주문형 유형이 포함된 목록에서 결제 모델을 선택할 수 있습니다. 기본적으로 결제 모델은 Enterprise 버전으로 설정됩니다.

5. 차트 옵션 > 차트 구성 섹션에서 다음을 수행합니다.

   1. 차트 목록에서 차트 유형을 선택합니다. 다양한 차트 옵션에 대한 자세한 내용은 차트 옵션을 참조하세요.
   2. 측정항목 목록에서 사용 가능한 측정항목 유형을 선택합니다.
   3. 그룹화 기준 목록에서 차트의 데이터를 그룹화할 측정기준을 선택합니다. 다양한 측정기준에 대한 자세한 내용은 그룹화 기준 옵션을 참조하세요.
   4. 필터 목록에서 사용 가능한 필터 옵션을 선택합니다. 다양한 필터에 관한 자세한 내용은 필터 및 검색을 참조하세요.
   5. 차트에서 데이터를 보려는 기간을 설정합니다.

차트 구성

다음 차트 구성 옵션을 변경하여 관리 리소스 차트의 뷰를 조정할 수 있습니다.

• 차트 옵션
• 테이블 구성요소
• 옵션별 그룹화
• 기간 옵션
• 필터링 및 검색

차트 옵션

BigQuery는 차트에 표시할 다음과 같은 측정항목 유형을 제공합니다.

• 슬롯 사용량. 선택한 기간의 평균 슬롯 사용량입니다. 용량 및 유휴 슬롯 사용량은 다음과 같은 조건에서 적용됩니다.

  • 그룹화 기준 옵션이 '전체'입니다.
  • 필터가 없거나 단일 예약으로 필터링됩니다.

• 작업 동시 실행: 선택한 기간 동안 동시에 실행된 최대 작업 수입니다.

• 작업 성능: 작업 생성 시간부터 작업 종료 시간까지 계산된 완료된 작업의 평균 작업 실행 시간입니다.

• 실패한 작업: 실패한 작업 중 선택한 기간의 평균 슬롯 사용량입니다.

• 처리된 바이트: 선택한 기간에 완료된 작업에서 처리한 총 바이트입니다.

• 셔플 사용량: 선택한 기간의 평균 셔플 사용량 비율입니다(미리보기).

테이블 구성요소

테이블에는 관리 리소스 차트에서 선택한 기간 및 측정기준과 관련된 측정항목이 표시됩니다.

슬롯 사용량 차트에는 선택한 기간 동안 실행된 모든 작업의 평균 슬롯 사용량이 표시됩니다. 선택한 기간 내에 완료되지 않은 작업에는 해당 기간 내에 사용된 슬롯만 포함됩니다.

작업 성능 차트의 경우 테이블 구성요소는 다음 측정항목을 표시합니다.

• 작업 수: 선택한 기간에 실행되었거나 부분적으로 실행된 완료 작업의 수입니다.

• 평균 작업 기간: 선택한 기간에 적어도 부분적으로 실행된 완료 작업의 평균 작업 기간입니다.

• 중앙 작업 기간: 선택한 기간에 적어도 부분적으로 실행된 완료 작업의 작업 기간 중앙값입니다.

• 최소 작업 기간: 선택한 기간에 적어도 부분적으로 실행된 완료 작업의 최소 작업 기간입니다. 이 열은 기본적으로 숨겨져 있지만 열 표시 옵션에서 사용 설정할 수 있습니다.

• 최대 작업 기간: 선택한 기간에 적어도 부분적으로 실행된 완료 작업의 최대 작업 기간입니다. 이 열은 기본적으로 숨겨져 있지만 열 표시 옵션에서 사용 설정할 수 있습니다.

실패한 작업 차트에서는 테이블 구성요소에 다음 데이터가 표시됩니다.

• 평균 슬롯 사용량: 슬롯 사용량 차트와 동일하지만 실패한 작업에만 해당합니다.

• 총 실패한 작업 수: 선택한 기간에 실패한 작업의 수입니다.

옵션별 그룹화

차트 유형에 따라 차트 뷰의 데이터를 여러 측정기준으로 그룹화할 수 있습니다.

• 전체. 전체 뷰는 조직 전체에서 시간 경과에 따라 선택한 측정항목을 개략적으로 보여줍니다. 슬롯 사용량의 경우 용량 및 사용량이 동일한 차트에 표시되어 시간 경과에 따른 전체 슬롯 사용률을 알 수 있습니다.

• 프로젝트. 프로젝트 뷰는 선택한 측정항목을 프로젝트별로 그룹화하여 표시합니다. 조직에 프로젝트가 10개를 넘는 경우 선택한 기간의 슬롯 사용량, 작업 동시 실행, 작업 기간 또는 실패한 작업에서 상위 10개 프로젝트만 표시됩니다. 슬롯 사용량의 경우 전체 용량과 쉽게 비교할 수 있도록 다른 모든 프로젝트는 차트 하단의 기타 카테고리로 그룹화됩니다.

• 다른 모든 그룹화 기준 뷰는 프로젝트 뷰와 유사하며 데이터가 각 측정기준별로 그룹화됩니다.

기간 옵션

다음과 같은 방법으로 기간을 수정할 수 있습니다.

• 기간을 선택하여 이벤트 타임라인 차트로 드래그합니다.

• 기간을 선택하여 기본 차트로 드래그합니다.

선택한 기간이 변경되면 정렬 기간이 자동으로 업데이트됩니다. 정렬 기간이 짧을수록 뷰가 더 자세하게 표시됩니다. 슬롯 사용량 옵션과 같이 자주 변경되는 리소스를 더 잘 보려면 정렬 기간을 줄이세요.

필터링 및 검색

차트 데이터의 범위를 좁히려면 필터 패널에서 필터를 적용하세요. 일부 필터는 특정 차트에서만 사용될 수 있습니다. 예약, 폴더, 프로젝트, 사용자 필터는 선택된 기간에 사용된 슬롯이 있는 각각의 리소스로 채워집니다. 예를 들어 지난 30일 동안 사용되지 않은 프로젝트가 있다면 프로젝트 필터 목록에 표시되지 않습니다.

필터를 적용하면 차트가 새로고침되어 선택한 매개변수에 데이터가 표시됩니다.

프로젝트 수준 관리 차트 데이터 보기

차트 옵션에서 범위를 조정하여 프로젝트 수준에서 관리 차트의 개요를 생성할 수 있습니다. 이 보기는 조직 수준의 관리 차트와 비슷하게 프로젝트 분석가가 소유 프로젝트의 리소스 활용률을 모니터링하는 데 도움이 됩니다. 일부 차트 옵션과 그룹화 옵션은 적용되지 않습니다. 이 보기에는 상황에 따른 프로젝트 내의 결제 모드에 관계없이 전체 리소스 활용률이 표시됩니다.

조직 수준의 권한을 사용해서 비관리 프로젝트에서 관리 차트로 이동하면 관리 차트가 기본적으로 프로젝트 수준으로 전환됩니다. 차트 옵션에서 범위 드롭다운을 사용하여 올바른 보기로 다시 전환할 수 있습니다.

결제

관리 리소스 차트는 추가 비용 없이 사용할 수 있습니다. 이러한 차트를 채우는 데 사용되는 쿼리는 요금이 청구되지 않으며 사용자가 소유한 예약에서 슬롯을 사용하지 않습니다. 너무 많은 데이터를 처리하는 쿼리는 시간이 초과됩니다.

다음 단계

• 예약에 대해 알아보기
• 슬롯 구매에 대해 알아보기
• 슬롯 용량 요구사항 추정 방법 알아보기
• 슬롯 추천 및 통계 보기 방법 알아보기