MaaS용 Vertex AI 파트너 모델

Vertex AI는 Google 파트너에서 개발한 선별된 모델 목록을 지원합니다. 파트너 모델은 Vertex AI를 MaaS(model as a service)로 함께 사용될 수 있으며 관리형 API로 제공됩니다. 파트너 모델을 사용하는 경우 요청을 Vertex AI 엔드포인트로 계속 전송합니다. 파트너 모델은 서버리스이므로 인프라를 프로비저닝하거나 관리할 필요가 없습니다.

Model Garden을 사용하여 파트너 모델을 검색할 수 있습니다. Model Garden을 사용하여 모델을 배포할 수도 있습니다. 자세한 내용은 Model Garden의 AI 모델 살펴보기를 참조하세요. Model Garden의 모델 카드에서 사용 가능한 각 파트너 모델에 대한 정보를 확인할 수 있지만 이 가이드에서는 Vertex AI에서 MaaS로 수행하는 서드 파티 모델만 설명합니다.

Anthropic Claude 및 Mistral 모델은 Vertex AI에서 사용할 수 있는 서드 파티 관리형 모델의 예시입니다.

용량 보장이 포함된 Vertex AI 파트너 모델 가격 책정

Google은 일부 파트너 모델에 대해 고정 요금으로 모델의 처리량 용량을 예약하는 프로비저닝된 처리량을 제공합니다. 처리량 용량과 해당 용량을 예약할 리전을 결정합니다. 프로비저닝된 처리량 요청은 표준 사용한 만큼만 지불하는 요청보다 우선순위가 높기 때문에 프로비저닝된 처리량은 가용성을 높여 줍니다. 시스템에 과부하가 발생해도 처리량이 예약된 처리량 용량 미만으로 유지되는 한 요청은 계속 완료될 수 있습니다. 자세한 내용을 알아보거나 서비스를 구독하려면 영업팀에 문의하세요.

파트너 모델에 대한 사용자 액세스 권한 부여

파트너 모델을 사용 설정하고 즉시 요청하려면 Google Cloud 관리자가 필요한 권한을 설정하고 조직 정책에서 필요한 API를 사용할 수 있는지 확인해야 합니다.

파트너 모델을 사용하는 데 필요한 권한 설정

파트너 모델을 사용하려면 다음 역할 및 권한이 필요합니다.

  • 소비자 조달 자격 관리자 Identity and Access Management(IAM) 역할이 있어야 합니다. 이 역할이 부여된 모든 사용자는 Model Garden에서 파트너 모델을 사용 설정할 수 있습니다.

  • aiplatform.endpoints.predict 권한이 있어야 합니다. 이 권한은 Vertex AI 사용자 IAM 역할에 포함되어 있습니다. 자세한 내용은 Vertex AI 사용자 및 액세스 제어를 참고하세요.

콘솔

  1. 사용자에게 소비자 조달 자격 관리자 IAM 역할을 부여하려면 IAM 페이지로 이동합니다.

    IAM으로 이동

  2. 주 구성원 열에서 파트너 모델에 대한 액세스를 사용 설정하려는 사용자 주 구성원을 찾은 후 해당 행에서 주 구성원 수정을 클릭합니다.

  3. 액세스 수정 창에서 다른 역할 추가를 클릭합니다.

  4. 역할 선택에서 소비자 조달 사용 권한 관리자를 선택합니다.

  5. 액세스 수정 창에서 다른 역할 추가를 클릭합니다.

  6. 역할 선택에서 Vertex AI 사용자를 선택합니다.

  7. 저장을 클릭합니다.

gcloud

  1. In the Google Cloud console, activate Cloud Shell.

    Activate Cloud Shell

  2. Model Garden에서 파트너 모델을 사용 설정하는 데 필요한 소비자 조달 사용 권한 관리자 역할을 부여합니다.

    gcloud projects add-iam-policy-binding  PROJECT_ID \
--member=PRINCIPAL --role=roles/consumerprocurement.entitlementManager

  3. 프롬프트 요청을 하는 데 필요한 aiplatform.endpoints.predict 권한이 포함된 Vertex AI 사용자 역할을 부여합니다.

    gcloud projects add-iam-policy-binding  PROJECT_ID \
--member=PRINCIPAL --role=roles/aiplatform.user

    PRINCIPAL을 주 구성원 식별자로 바꿉니다. 식별자는 user|group|serviceAccount:email 또는domain:domain 형식을 취합니다(예:user:cloudysanfrancisco@gmail.com, group:admins@example.com, serviceAccount:test123@example.domain.com 또는 domain:example.domain.com).

    다음을 포함하는 정책 바인딩 목록이 출력됩니다.

    - members:
  - user:PRINCIPAL
  role: roles/roles/consumerprocurement.entitlementManager

    자세한 내용은 단일 역할 부여 및 gcloud projects add-iam-policy-binding을 참조하세요.

파트너 모델 액세스에 대한 조직 정책 설정

파트너 모델을 사용 설정하려면 조직 정책에서 다음 API를 허용해야 합니다.

  • Cloud Commerce Consumer Procurement API - cloudcommerceconsumerprocurement.googleapis.com
  • Commerce Agreement API - commerceagreement.googleapis.com

조직에서 서비스 사용량을 제한하도록 조직 정책을 설정하는 경우 조직 관리자는 조직 정책을 설정하여 cloudcommerceconsumerprocurement.googleapis.com 및 commerceagreement.googleapis.com이 허용되는지 확인해야 합니다.

또한 Model Garden에서 모델 사용을 제한하는 조직 정책이 있는 경우 해당 정책에서 파트너 모델에 대한 액세스를 허용해야 합니다. 자세한 내용은 모델 액세스 제어를 참고하세요.