ESPv2를 사용하여 GKE용 Endpoints 시작하기

Endpoints 구성

bookstore-grpc 샘플에는 로컬로 복사하고 구성해야 하는 파일이 포함되어 있습니다.

1. 서비스 .proto.파일에서 독립적인 protobuf 설명자 파일을 만듭니다.
   1. 예시 저장소의 bookstore.proto 사본을 저장합니다. 이 파일은 Bookstore 서비스의 API를 정의합니다.
   2. mkdir generated_pb2 디렉터리를 만듭니다.
   3. protoc 프로토콜 버퍼 컴파일러를 사용하여 설명자 파일 api_descriptor.pb를 만듭니다. bookstore.proto를 저장한 디렉터리에서 다음 명령어를 실행합니다.

      python -m grpc_tools.protoc \
          --include_imports \
          --include_source_info \
          --proto_path=. \
          --descriptor_set_out=api_descriptor.pb \
          --python_out=generated_pb2 \
          --grpc_python_out=generated_pb2 \
          bookstore.proto

      앞의 명령어에서 --proto_path는 현재 작업 디렉터리로 설정됩니다. gRPC 빌드 환경에서 .proto 입력 파일에 다른 디렉터리를 사용할 경우 컴파일러가 bookstore.proto 파일이 저장된 디렉터리를 검색하도록 --proto_path를 변경합니다.

2. 다음 단계에 따라 gRPC API 구성 YAML 파일을 만듭니다.
   1. api_config.yaml 파일의 사본을 저장합니다. 이 파일은 Bookstore 서비스에 대한 gRPC API 구성을 정의합니다.
   2. api_config.yaml 파일의 MY_PROJECT_ID를 Google Cloud 프로젝트 ID로 바꿉니다. 예를 들면 다음과 같습니다.

      #
      # Name of the service configuration.
      #
      name: bookstore.endpoints.example-project-12345.cloud.goog
      

      참고로 이 파일의 apis.name 필드 값은 .proto 파일의 정규화된 API 이름과 정확히 일치하며, 그렇지 않은 경우 배포가 작동하지 않습니다. Bookstore 서비스는 endpoints.examples.bookstore 패키지 내의 bookstore.proto에 정의되어 있습니다. 정규화된 API 이름은 api_config.yaml 파일에 나타난 것과 같이 endpoints.examples.bookstore.Bookstore입니다.

      apis:
        - name: endpoints.examples.bookstore.Bookstore

자세한 내용은 Endpoints 구성을 참조하세요.

Endpoints 구성 배포

Endpoints 구성을 배포하려면 gcloud endpoints services deploy 명령어를 사용합니다. 이 명령어는 Service Management를 사용하여 관리형 서비스를 만듭니다.

1. 현재 위치가 api_descriptor.pb 및 api_config.yaml 파일이 있는 디렉터리인지 확인합니다.
2. gcloud 명령줄 도구에 현재 사용 중인 기본 프로젝트가 Endpoints 구성을 배포하려는 Google Cloud 프로젝트인지 확인합니다. 잘못된 프로젝트에 서비스가 만들어지지 않도록 다음 명령어로 반환되는 프로젝트 ID를 확인합니다.

   gcloud config list project
   

   기본 프로젝트를 변경해야 하는 경우 다음 명령어를 실행합니다.

   gcloud config set project YOUR_PROJECT_ID
   

3. Google Cloud CLI를 사용하여 proto descriptor 파일 및 구성 파일을 배포합니다.

   gcloud endpoints services deploy api_descriptor.pb api_config.yaml
   

   Service Management에서 서비스를 만들고 구성하면서 터미널에 정보를 출력합니다. 배포가 완료되면 다음과 유사한 메시지가 표시됩니다.

   Service Configuration [CONFIG_ID] uploaded for service [bookstore.endpoints.example-project.cloud.goog]

   CONFIG_ID는 배포 시 만들어진 고유한 Endpoints 서비스 구성 ID입니다. 예를 들면 다음과 같습니다.

   Service Configuration [2017-02-13r0] uploaded for service [bookstore.endpoints.example-project.cloud.goog]
   

   이전 예시에서 2017-02-13r0은 서비스 구성 ID이고 bookstore.endpoints.example-project.cloud.goog는 서비스 이름입니다. 서비스 구성 ID는 날짜 스탬프와 버전 번호로 구성됩니다. 같은 날짜에 Endpoints 구성을 다시 배포하면 서비스 구성 ID에서 버전 번호가 증가합니다.

필수 서비스 확인

대부분의 경우 gcloud endpoints services deploy 명령어를 사용하여 이러한 필수 서비스를 사용 설정할 수 있습니다. 하지만 다음과 같은 경우에는 gcloud 명령어가 성공적으로 완료되더라도 필수 서비스가 사용 설정되지 않습니다.

• Terraform과 같은 타사 애플리케이션을 사용하고 이러한 서비스를 포함하지 않은 경우

• 이러한 서비스가 명시적으로 중지된 기존 Google Cloud 프로젝트에 Endpoints 구성을 배포한 경우

다음 명령어를 사용하여 필수 서비스가 사용 설정되어 있는지 확인합니다.

gcloud services list

필수 서비스가 나열되지 않으면 서비스를 사용 설정하세요.

gcloud services enable servicemanagement.googleapis.com
gcloud services enable servicecontrol.googleapis.com

Endpoints 서비스도 사용 설정해야 합니다.

gcloud services enable ENDPOINTS_SERVICE_NAME

ENDPOINTS_SERVICE_NAME을 확인하려면 다음 중 하나를 수행합니다.

• Endpoints 구성을 배포한 후 Cloud 콘솔의 Endpoints 페이지로 이동합니다. 가능한 ENDPOINTS_SERVICE_NAME 목록이 서비스 이름 열 아래에 표시됩니다.

• OpenAPI의 경우 ENDPOINTS_SERVICE_NAME은 OpenAPI 사양의 host 필드에 지정한 항목입니다. gRPC의 경우 ENDPOINTS_SERVICE_NAME은 gRPC 엔드포인트 구성의 name 필드에 지정한 항목입니다.

gcloud 명령어에 대한 자세한 내용은 gcloud 서비스를 참조하세요.

오류 메시지가 나타나면 Endpoints 구성 배포 문제해결을 참조하세요.

자세한 내용은 Endpoints 구성 배포를 참조하세요.

API 백엔드 배포

지금까지 Service Management에 서비스 구성을 배포했지만, 아직 API 백엔드를 제공할 코드를 배포하지 않았습니다. 이 섹션에서는 API 백엔드 호스팅을 위한 GKE 클러스터를 만들고 API를 배포하는 단계를 안내합니다.

컨테이너 클러스터 만들기

컨테이너 기반 부하 분산을 사용하려면 클러스터에 IP 별칭이 필요합니다. 예시에 사용할 IP 별칭이 있는 컨테이너 클러스터를 만들려면 다음 안내를 따르세요.

gcloud container clusters create espv2-demo-cluster \
    --enable-ip-alias \
    --create-subnetwork="" \
    --network=default \
    --zone=us-central1-a

위의 명령어는 us-central1-a 영역에 자동 프로비저닝된 서브네트워크와 함께 espv2-demo-cluster 클러스터를 만듭니다.

컨테이너 클러스터에 kubectl 인증

kubectl을 사용하여 클러스터 리소스를 만들고 관리하려면 클러스터 사용자 인증 정보를 가져와서 kubectl에 제공해야 합니다. 이렇게 하려면 다음 명령어를 실행합니다. 여기에서 NAME을 새 클러스터 이름으로, ZONE을 클러스터 영역으로 바꿉니다.

gcloud container clusters get-credentials NAME --zone ZONE

필수 권한 확인

ESP 및 ESPv2는 IAM을 사용하는 Google ID를 호출하여 호출 ID에 사용된 IAM 리소스에 액세스할 수 있는 충분한 권한이 있는지 확인합니다. 호출 ID는 ESP 및 ESPv2를 배포하는 연결 서비스 계정입니다.

GKE Pod에 배포될 때 연결 서비스 계정은 노드 서비스 계정입니다. 일반적으로는 Compute Engine 기본 서비스 계정입니다. 이 권한 권장사항에 따라 적절한 노드 서비스 계정을 선택하세요.

워크로드 아이덴티티를 사용할 경우 노드 서비스 계정이 아닌 별도의 서비스 계정을 사용하여 Google 서비스와 통신할 수 있습니다. pod용 Kubernetes 서비스 계정을 만들어 ESP와 ESPv2를 실행하고 Google 서비스 계정을 만들고 Kubernetes 서비스 계정을 Google 서비스 계정에 연결할 수 있습니다.

이 단계에 따라 Kubernetes 서비스 계정을 Google 서비스 계정과 연결합니다. 이 Google 서비스 계정은 연결 서비스 계정입니다.

연결된 서비스 계정이 프로젝트의 Compute Engine 기본 서비스 계정이고 엔드포인트 서비스 구성이 동일한 프로젝트에 배포된 경우 서비스 계정에는 IAM 리소스에 액세스할 수 있는 충분한 권한이 있어야 하며 IAM 역할 설정 단계를 건너뛸 수 있습니다. 그렇지 않으면 연결된 서비스 계정에 다음 IAM 역할을 추가해야 합니다.

필수 IAM 역할 추가

이 섹션에서는 ESP 및 ESPv2에 사용되는 IAM 리소스와 연결된 서비스 계정이 이러한 리소스에 액세스하는 데 필요한 IAM 역할을 설명합니다.

엔드포인트 서비스 구성

ESP 및 ESPv2는 엔드포인트 서비스 구성을 사용하는 Service Control을 호출합니다. 엔드포인트 서비스 구성은 IAM 리소스입니다. ESP 및 ESPv2가 여기에 액세스하려면 서비스 컨트롤러 역할이 필요합니다.

IAM 역할은 프로젝트가 아닌 엔드포인트 서비스 구성에 있습니다. 한 프로젝트에 여러 엔드포인트 서비스 구성이 포함될 수 있습니다.

다음 gcloud 명령어를 사용하여 엔드포인트 서비스 구성의 연결된 서비스 계정에 역할을 추가합니다.

gcloud endpoints services add-iam-policy-binding SERVICE_NAME \
  --member serviceAccount:SERVICE_ACCOUNT_NAME@DEPLOY_PROJECT_ID.iam.gserviceaccount.com \
  --role roles/servicemanagement.serviceController

여기서
* SERVICE_NAME은 엔드포인트 서비스 이름입니다.
* SERVICE_ACCOUNT_NAME@DEPLOY_PROJECT_ID.iam.gserviceaccount.com은 연결된 서비스 계정입니다.

Cloud Trace

ESP 및 ESPv2는 Cloud Trace 서비스를 호출하여 Trace를 프로젝트로 내보냅니다. 이 프로젝트를 trace 프로젝트라고 부릅니다. ESP에서 trace 프로젝트와 엔드포인트 서비스 구성을 소유하는 프로젝트는 동일합니다. ESPv2에서 trace 프로젝트는 --tracing_project_id 플래그로 지정될 수 있으며, 기본적으로 배포 프로젝트로 지정됩니다.

ESP 및 ESPv2에 Cloud Trace를 사용 설정하려면 Cloud Trace 에이전트 역할이 필요합니다.

다음 gcloud 명령어를 사용하여 연결 서비스 계정에 역할을 추가합니다.

gcloud projects add-iam-policy-binding TRACING_PROJECT_ID \
  --member serviceAccount:SERVICE_ACCOUNT_NAME@DEPLOY_PROJECT_ID.iam.gserviceaccount.com \
  --role roles/cloudtrace.agent

여기서
* TRACING_PROJECT_ID는 trace 프로젝트 ID입니다.
* SERVICE_ACCOUNT_NAME@DEPLOY_PROJECT_ID.iam.gserviceaccount.com는 연결 서비스 계정입니다. 자세한 내용은 역할 및 권한이란 무엇인가요?를 참조하세요.

SSL 키 및 인증서 구성

컨테이너 기반 부하 분산은 TLS로 암호화되어야 하는 HTTP2 LB를 사용합니다. 이를 위해 GKE 인그레스 및 ESPv2에 TLS 인증서를 배포해야 했습니다. 고유 인증서를 가져오거나 자체 서명된 인증서를 사용할 수 있습니다.

1. openssl을 사용하여 자체 서명된 인증서 및 키를 만듭니다. '일반 이름(CN)'을 묻는 메시지가 표시되면 동일한 FQDN bookstore.endpoints.MY_PROJECT_ID.cloud.goog를 입력했는지 확인합니다. 이 이름은 클라이언트가 서버 인증서를 확인하는 데 사용됩니다.

   openssl req -x509 -nodes -days 365 -newkey rsa:2048 \
   -keyout ./server.key -out ./server.crt

2. SSL 키와 인증서로 Kubernetes 보안 비밀을 만듭니다. 보안 비밀이 GKE 인그레스와 ESPv2 모두에 제공되므로 server.crt 및 tls.crt라는 두 곳에 인증서가 복사됩니다. GKE 인그레스는 인증서 경로 tls.crt을 찾고 ESPv2는 인증서 경로 server.crt을 찾습니다.

   kubectl create secret generic esp-ssl \
   --from-file=server.crt=./server.crt --from-file=server.key=./server.key \
   --from-file=tls.crt=./server.crt --from-file=tls.key=./server.key

클러스터에 샘플 API 및 ESPv2 배포

클라이언트에서 사용할 수 있게 샘플 gRPC 서비스를 클러스터에 배포하려면 다음 안내를 따르세요.

1. 이 저장소를 git clone 후 grpc-bookstore.yaml 배포 매니페스트 파일을 수정합니다.
2. SERVICE_NAME을 인그레스 및 ESPv2 컨테이너의 엔드포인트 서비스 이름으로 바꿉니다. 이 이름은 api_config.yaml 파일의 name 필드에서 구성한 것과 같은 이름입니다.
   # Copyright 2016 Google Inc.
   #
   # Licensed under the Apache License, Version 2.0 (the "License");
   # you may not use this file except in compliance with the License.
   # You may obtain a copy of the License at
   #
   #     http://www.apache.org/licenses/LICENSE-2.0
   #
   # Unless required by applicable law or agreed to in writing, software
   # distributed under the License is distributed on an "AS IS" BASIS,
   # WITHOUT WARRANTIES OR CONDITIONS OF ANY KIND, either express or implied.
   # See the License for the specific language governing permissions and
   # limitations under the License
   
   # Use this file to deploy the container for the grpc-bookstore sample
   # and the container for the Extensible Service Proxy (ESP) to
   # Google Kubernetes Engine (GKE).
   
   apiVersion: networking.k8s.io/v1beta1
   kind: Ingress
   metadata:
     name: esp-grpc-bookstore
     annotations:
       kubernetes.io/ingress.class: "gce"
       kubernetes.io/ingress.allow-http: "false"
   spec:
     tls:
     - hosts:
       - SERVICE_NAME
       secretName: esp-ssl
     backend:
       serviceName: esp-grpc-bookstore
       servicePort: 443
   ---
   apiVersion: cloud.google.com/v1
   kind: BackendConfig
   metadata:
     name: esp-grpc-bookstore
   spec:
     healthCheck:
       type: HTTP2
       requestPath: /healthz
       port: 9000
   ---
   apiVersion: v1
   kind: Service
   metadata:
     name: esp-grpc-bookstore
     annotations:
       service.alpha.kubernetes.io/app-protocols: '{"esp-grpc-bookstore":"HTTP2"}'
       cloud.google.com/neg: '{"ingress": true, "exposed_ports": {"443":{}}}'
       cloud.google.com/backend-config: '{"default": "esp-grpc-bookstore"}'
   spec:
     ports:
     # Port that accepts gRPC and JSON/HTTP2 requests over TLS.
     - port: 443
       targetPort: 9000
       protocol: TCP
       name: esp-grpc-bookstore
     selector:
       app: esp-grpc-bookstore
     type: ClusterIP
   ---
   apiVersion: apps/v1
   kind: Deployment
   metadata:
     name: esp-grpc-bookstore
   spec:
     replicas: 1
     selector:
       matchLabels:
         app: esp-grpc-bookstore
     template:
       metadata:
         labels:
           app: esp-grpc-bookstore
       spec:
         volumes:
         - name: esp-ssl
           secret:
             secretName: esp-ssl
         containers:
         - name: esp
           image: gcr.io/endpoints-release/endpoints-runtime:2
           args: [
             "--listener_port=9000",
             "--service=SERVICE_NAME",
             "--rollout_strategy=managed",
             "--backend=grpc://127.0.0.1:8000",
             "--healthz=/healthz",
             "--ssl_server_cert_path=/etc/esp/ssl",
           ]
           ports:
             - containerPort: 9000
           volumeMounts:
           - mountPath: /etc/esp/ssl
             name:  esp-ssl
             readOnly: true
         - name: bookstore
           image: gcr.io/endpointsv2/python-grpc-bookstore-server:1
           ports:
             - containerPort: 8000
   

   --rollout_strategy=managed 옵션은 ESPv2가 배포된 최신 서비스 구성을 사용하도록 구성합니다. 이 옵션을 지정하면 새 서비스 구성을 배포한 후 1분 내에 ESPv2가 변경사항을 감지하여 자동으로 새 구성을 사용하기 시작합니다. ESPv2에서 사용할 특정 구성 ID를 제공하는 대신 이 옵션을 지정하는 것이 좋습니다. ESPv2 인수에 대한 자세한 내용은 ESPv2 스타트업 옵션을 참조하세요.

   예를 들면 다음과 같습니다.

       spec:
         containers:
         - name: esp
           image: gcr.io/endpoints-release/endpoints-runtime:2
           args: [
             "--listener_port=9000",
             "--service=bookstore.endpoints.example-project-12345.cloud.goog",
             "--rollout_strategy=managed",
             "--backend=grpc://127.0.0.1:8000"
           ]

3. 서비스를 시작합니다.

   kubectl create -f grpc-bookstore.yaml
   

오류 메시지가 표시되면 GKE에서 Endpoints 문제해결을 참조하세요.

서비스의 외부 IP 주소 가져오기

샘플 API로 요청을 보내려면 서비스의 외부 IP 주소가 필요합니다. 외부 IP 주소가 준비되려면 컨테이너의 서비스를 시작한 후 몇 분 정도 걸릴 수 있습니다.

1. 외부 IP 주소를 확인합니다.

   kubectl get ingress

2. EXTERNAL-IP의 값을 기록하고 SERVER_IP 환경 변수에 저장합니다. 외부 IP 주소는 샘플 API에 요청을 보내는 데 사용됩니다.

   export SERVER_IP=YOUR_EXTERNAL_IP
   

API에 요청 보내기

샘플 API에 요청을 전송하려면 Python으로 작성된 샘플 gRPC 클라이언트를 사용할 수 있습니다.

1. gRPC 클라이언트 코드가 호스팅된 git 저장소를 복제합니다.

   git clone https://github.com/GoogleCloudPlatform/python-docs-samples.git
      

2. 작업 디렉토리를 다음과 같이 변경합니다.

   cd python-docs-samples/endpoints/bookstore-grpc/
     

3. 종속 항목을 설치합니다.

   pip install virtualenv
   virtualenv env
   source env/bin/activate
   python -m pip install -r requirements.txt

4. 자체 서명 인증서의 루트 CA 만들기

   openssl x509 -in server.crt -out client.pem -outform PEM
     

5. 샘플 API로 요청을 전송합니다.

   python bookstore_client.py --host SERVER_IP --port 443 \
   --servername bookstore.endpoints.MY_PROJECT_ID.cloud.goog --use_tls true --ca_path=client.pem
   

   • Endpoints > 서비스 페이지에서 API의 활동 그래프를 봅니다.
     

     Endpoints 서비스 페이지로 이동

     요청이 그래프에 반영되는 데 잠시 시간이 걸릴 수 있습니다.

   • 로그 탐색기 페이지에서 API의 요청 로그를 봅니다.
     

     로그 탐색기 페이지로 이동

성공 응답을 받지 못하면 응답 오류 문제해결을 참조하세요.

Endpoints에 API를 배포하고 테스트했습니다.