Vertex AI를 사용하여 모델 평가

이 페이지에서는 Vertex AI를 사용하여 모델을 평가하는 방법을 설명합니다. 개요는 Vertex AI의 모델 평가를 참고하세요.

기본 요건

1. 프로젝트 및 개발 환경 설정의 단계를 따릅니다. 또한 다음 서비스를 사용 설정합니다.

   • Compute Engine API
   • Dataflow API

2. Vertex AI는 AutoML 또는 커스텀 학습을 통해 학습된 모델을 평가할 수 있습니다. Google Cloud 콘솔 가이드에서는 Vertex AI Model Registry로 가져온 학습된 모델이 있어야 합니다.

3. 테스트 데이터 세트를 BigQuery 또는 Cloud Storage에 업로드하세요. 테스트 데이터 세트에는 예측에 대한 실제 결과인 정답이 포함되어 있습니다. 파일 또는 데이터 세트 ID로의 링크를 가져오세요.

4. BigQuery 테이블 또는 Cloud Storage URI 형식의 일괄 예측 출력을 가져야 합니다.

5. 기본 Compute Engine 서비스 계정에 다음 IAM 권한이 있는지 확인하세요.

   • Vertex AI 관리자(aiplatform.admin)
   • Vertex AI 서비스 에이전트(aiplatform.serviceAgent)
   • 스토리지 객체 관리자(storage.objectAdmin)
   • Dataflow 작업자(dataflow.worker)
   • BigQuery 데이터 편집자(bigquery.dataEditor)(BigQuery 테이블 형식으로 데이터를 제공하는 경우에만 필요)

평가 생성

Vertex AI는 모델 평가 작업이 완료되면 자동으로 이메일 알림을 보냅니다.

평가 측정항목 보기

평가 측정항목 비교

여러 모델, 모델 버전, 평가 작업 간에 평가 결과를 비교할 수 있습니다. 모델 버전 관리에 대한 자세한 내용은 Model Registry에서 버전 관리를 참조하세요.

분류, 회귀, 예측과 같은 동일한 유형의 모델만 비교할 수 있습니다. 서로 다른 모델을 비교할 때는 모든 모델 버전이 동일한 유형이어야 합니다.

평가는 한 번에 최대 5개까지만 비교할 수 있습니다.

1. Google Cloud 콘솔에서 Vertex AI Model Registry로 이동합니다.

   모델 페이지로 이동

2. 모델 또는 모델 버전으로 이동합니다.

   • 모델 페이지에서 여러 모델을 비교하려면 비교하려는 모델 이름 옆에 있는 체크박스를 선택합니다.

   • 여러 모델 버전을 비교하려면 다음 단계를 따르세요.

     1. 모델 페이지에서 모델 이름을 클릭하여 모델 버전 목록을 엽니다.

     2. 비교할 버전 옆에 있는 체크박스를 선택합니다.

   • 동일한 모델 버전의 평가 작업 간에 비교하려면 다음 단계를 따르세요.

     1. 모델 페이지에서 모델 이름을 클릭하여 모델 버전 목록을 엽니다.

     2. 버전 번호를 클릭합니다.

     3. 비교할 평가 작업 옆에 있는 체크박스를 선택합니다.

3. 비교를 클릭합니다.

다음 단계

• 모델 반복 방법 알아보기