온라인 예측 로깅 사용

AutoML 테이블 형식 모델, AutoML 이미지 모델, 커스텀 학습 모델에서는 모델 배포 또는 엔드포인트 생성 중에 로그를 사용 설정하거나 사용 중지할 수 있습니다. 이 페이지에서는 사용 가능한 여러 예측 로그 유형과 이러한 로그를 사용 설정하거나 사용 중지하는 방법을 설명합니다.

예측 로그 유형

예측 노드에서 정보를 가져오는 데 사용할 수 있는 예측 로그에는 여러 가지 유형이 있습니다.

• 컨테이너 로깅: 예측 노드의 stdout 및 stderr 스트림을 Cloud Logging에 로깅합니다. 이러한 로그는 디버깅에 필요합니다.

  • v1 서비스 엔드포인트에서 컨테이너 로깅이 기본적으로 사용 설정됩니다. 모델을 배포할 때 이를 사용 중지할 수 있습니다. 또한 배포된 모델을 변형할 때 로깅을 사용 중지 또는 사용 설정할 수 있습니다.

  • v1beta1 서비스 엔드포인트에서 컨테이너 로깅이 기본적으로 사용 중지됩니다. 모델을 배포할 때 이를 사용 설정할 수 있습니다. 또한 배포된 모델을 변형할 때 로깅을 사용 중지 또는 사용 설정할 수 있습니다.

• 액세스 로깅: Cloud Logging에 대한 각 요청의 타임스탬프 및 지연 시간과 같은 정보를 로깅합니다.

  v1 및 v1beta1 서비스 엔드포인트 모두 액세스 로깅은 기본적으로 중지되어 있습니다. 엔드포인트에 모델을 배포할 때 액세스 로깅을 사용 설정할 수 있습니다.

• 요청-응답 로깅: BigQuery 테이블에 대한 온라인 예측 요청 및 응답의 샘플을 로깅합니다.

  예측 엔드포인트를 만들거나 패치하여 요청-응답 로깅을 사용 설정할 수 있습니다.

각 로그 유형을 개별적으로 사용 설정하거나 중지할 수 있습니다.

예측 로그 설정

엔드포인트를 만들거나 모델을 엔드포인트에 배포하거나 배포된 모델을 변경할 때 온라인 예측 로그를 사용 설정하거나 중지할 수 있습니다.

액세스 로그의 설정을 업데이트하려면 모델 배포를 취소한 후 새 설정으로 모델을 다시 배포해야 합니다. 모델을 다시 배포하지 않고 컨테이너 로그의 설정을 업데이트할 수 있습니다.

대량의 초당 쿼리 수(QPS)에 대해 온라인 예측을 수행하면 상당히 많은 수의 로그가 생성되며 Cloud Logging 가격 책정이 적용됩니다. 온라인 예측 로그의 가격을 산출하려면 로깅의 예상 청구액 확인을 참조하세요. 이 비용을 줄이려면 예측 로깅을 중지하면 됩니다.

예측 로그 사용 설정 및 사용 중지

다음 예시에서는 기본 로그 설정을 수정할 위치를 강조표시합니다.

gcloud ai endpoints deploy-model ENDPOINT_ID\
  --region=LOCATION \
  --model=MODEL_ID \
  --display-name=DEPLOYED_MODEL_NAME \
  --machine-type=MACHINE_TYPE \
  --accelerator=count=2,type=nvidia-tesla-t4 \
  --disable-container-logging \
  --enable-access-logging

gcloud beta ai endpoints deploy-model ENDPOINT_ID\
  --region=LOCATION \
  --model=MODEL_ID \
  --display-name=DEPLOYED_MODEL_NAME \
  --machine-type=MACHINE_TYPE \
  --accelerator=count=2,type=nvidia-tesla-t4 \
  --enable-access-logging \
  --enable-container-logging

{
   "predict_request_response_logging_config": {
     "enabled": true,
     "sampling_rate": 0.5,
     "bigquery_destination": {
       "output_uri": "bq://PROJECT_ID.DATASET_NAME.TABLE_NAME"
     }
   }
}

요청-응답 로깅 및 Model Monitoring v1

요청-응답 로깅과 Model Monitoring v1은 백엔드에서 같은 BigQuery 테이블을 사용하여 수신 요청을 로깅합니다. 두 기능을 동시에 사용할 때는 이 BigQuery 테이블에 대한 예기치 않은 변경이 방지되도록 다음과 같은 제한사항이 적용됩니다.

• 엔드포인트에서 Model Monitoring이 사용 설정된 경우 같은 엔드포인트에 요청-응답 로깅을 사용 설정할 수 없습니다.

• 요청-응답 로깅을 사용 설정한 후 동일한 엔드포인트에서 모델 모니터링을 사용 설정하면 요청-응답 로깅 구성을 변경할 수 없습니다.

다음 단계

• 온라인 예측 로깅 가격 예측
• Google Cloud Console을 사용하거나 Vertex AI API를 사용하여 모델 배포하기
• BigQuery 테이블 생성 방법 알아보기