scikit-learn 및 XGBoost를 사용하여 ML 모델 학습

Cloud Storage 버킷 설정

학습 코드 및 종속 항목을 저장하려면 Cloud Storage 버킷이 필요합니다. 이 가이드를 쉽게 따라하려면 AI Platform Training에 사용하는 것과 동일한 프로젝트에서 전용 Cloud Storage 버킷을 사용하는 것이 좋습니다.

다른 프로젝트에서 버킷을 사용 중인 경우 AI Platform Training 서비스 계정이 Cloud Storage에 있는 학습 코드 및 종속 항목에 액세스할 수 있는지 확인해야 합니다. 적절한 권한이 없으면 학습 작업이 실패합니다. 스토리지에 대한 권한을 부여하는 방법을 참조하세요.

학습 작업 실행하는 데 사용 중인 리전의 버킷을 사용하거나 설정해야 합니다. AI Platform Training 서비스에 사용 가능한 리전을 참조하세요.

이 섹션에서는 새 버킷을 만드는 방법을 설명합니다. 기존 버킷을 사용할 수도 있지만 해당 버킷이 AI Platform 작업을 실행하려는 리전과 동일한 리전에 있어야 합니다. 또한 해당 버킷이 AI Platform Training을 실행하는 데 사용 중인 프로젝트에 속하지 않는 경우 명시적으로 AI Platform Training 서비스 계정에 대한 액세스 권한을 부여해야 합니다.

1. 새 버킷의 이름을 지정합니다. 이름은 Cloud Storage의 모든 버킷에서 중복되지 않아야 합니다.

   BUCKET_NAME="YOUR_BUCKET_NAME"

   예를 들어 프로젝트 이름에 -aiplatform을 추가하여 사용합니다.

   PROJECT_ID=$(gcloud config list project --format "value(core.project)")
   BUCKET_NAME=${PROJECT_ID}-aiplatform

2. 만든 버킷 이름을 확인합니다.

   echo $BUCKET_NAME

3. 버킷 리전을 선택하고 REGION 환경 변수를 설정합니다.

   AI Platform Training 작업을 실행할 리전과 동일한 리전을 사용합니다. AI Platform Training 서비스에 사용 가능한 리전을 참조하세요.

   예를 들어 다음 코드는 REGION을 생성하고 us-central1로 설정합니다.

   REGION=us-central1

4. 새 버킷을 만듭니다.

   gcloud storage buckets create gs://$BUCKET_NAME --location=$REGION

Python 학습 모듈 만들기

모델을 학습시키는 코드를 포함하는 iris_training.py 파일을 만듭니다. 이 섹션에서는 각 학습 코드의 역할을 설명합니다.

• 설치 및 가져오기
• Cloud Storage에서 데이터 다운로드
• pandas에 데이터 로드
• 모델 학습 및 저장
• 저장된 모델 파일을 Cloud Storage에 업로드

편의를 위해 iris_training.py의 전체 코드가 GitHub에서 호스팅되므로 이 가이드에서 사용할 수 있습니다.

• scikit-learn용 전체 학습 코드
• XGBoost용 전체 학습 코드

설정

Python, scikit-learn 또는 XGBoost에서 다음 라이브러리를 가져옵니다. Cloud Storage 버킷의 이름에 대한 변수를 설정합니다.

import datetime
import os
import subprocess
import sys
import pandas as pd
from sklearn import svm
from sklearn.externals import joblib

# Fill in your Cloud Storage bucket name
BUCKET_NAME = '<YOUR_BUCKET_NAME>'

import datetime
import os
import subprocess
import sys
import pandas as pd
import xgboost as xgb

# Fill in your Cloud Storage bucket name
BUCKET_NAME = '<YOUR_BUCKET_NAME>'

Cloud Storage에서 데이터 다운로드

일반적인 개발 프로세스에서는 데이터를 AI Platform Training이 액세스할 수 있도록 Cloud Storage에 업로드합니다. 이 가이드의 데이터는 공개 Cloud Storage 버킷에서 호스팅됩니다. gs://cloud-samples-data/ai-platform/iris/

다음 코드는 gsutil을 사용하여 데이터를 다운로드한 다음 데이터를 gsutil에서 stdout으로 전환합니다.

iris_data_filename = 'iris_data.csv'
iris_target_filename = 'iris_target.csv'
data_dir = 'gs://cloud-samples-data/ml-engine/iris'

# gsutil outputs everything to stderr so we need to divert it to stdout.
subprocess.check_call(['gsutil', 'cp', os.path.join(data_dir,
                                                    iris_data_filename),
                       iris_data_filename], stderr=sys.stdout)
subprocess.check_call(['gsutil', 'cp', os.path.join(data_dir,
                                                    iris_target_filename),
                       iris_target_filename], stderr=sys.stdout)

iris_data_filename = 'iris_data.csv'
iris_target_filename = 'iris_target.csv'
data_dir = 'gs://cloud-samples-data/ai-platform/iris'

# gsutil outputs everything to stderr so we need to divert it to stdout.
subprocess.check_call(['gsutil', 'cp', os.path.join(data_dir,
                                                    iris_data_filename),
                       iris_data_filename], stderr=sys.stdout)
subprocess.check_call(['gsutil', 'cp', os.path.join(data_dir,
                                                    iris_target_filename),
                       iris_target_filename], stderr=sys.stdout)

pandas에 데이터 로드

scikit-learn 또는 XGBoost를 사용한 학습을 위해 pandas를 사용하여 데이터를 NumPy 배열에 로드합니다.

# Load data into pandas, then use `.values` to get NumPy arrays
iris_data = pd.read_csv(iris_data_filename).values
iris_target = pd.read_csv(iris_target_filename).values

# Convert one-column 2D array into 1D array for use with scikit-learn
iris_target = iris_target.reshape((iris_target.size,))

# Load data into pandas, then use `.values` to get NumPy arrays
iris_data = pd.read_csv(iris_data_filename).values
iris_target = pd.read_csv(iris_target_filename).values

# Convert one-column 2D array into 1D array for use with XGBoost
iris_target = iris_target.reshape((iris_target.size,))

모델 학습 및 저장

AI Platform 학습을 실행할 학습 모듈을 만듭니다. 이 예시에서 학습 모듈은 Iris 학습 데이터(iris_data 및 iris_target)에서 모델을 학습시키고 학습된 모델을 파일로 내보내서 저장합니다. 학습 후에 AI Platform Prediction을 사용하여 온라인 예측을 수행하려면 모델 파일 내보내기에 사용할 라이브러리에 따라 모델 파일 이름을 지정해야 합니다. 모델 파일의 이름 지정 요구사항에 대해 자세히 알아보세요.

# Train the model
classifier = svm.SVC(gamma='auto', verbose=True)
classifier.fit(iris_data, iris_target)

# Export the classifier to a file
model_filename = 'model.joblib'
joblib.dump(classifier, model_filename)

import pickle
with open('model.pkl', 'wb') as model_file:
  pickle.dump(classifier, model_file)

# Load data into DMatrix object
dtrain = xgb.DMatrix(iris_data, label=iris_target)

# Train XGBoost model
bst = xgb.train({}, dtrain, 20)

# Export the classifier to a file
model_filename = 'model.bst'
bst.save_model(model_filename)

import pickle
with open('model.pkl', 'wb') as model_file:
  pickle.dump(bst, model_file)

모델 파일 이름 지정 요구사항

온라인 예측의 경우 Cloud Storage에 업로드할 저장된 모델 파일의 이름을 사용한 라이브러리에 따라 model.pkl, model.joblib, model.bst 중 하나로 지정해야 합니다. 이렇게 하면 AI Platform Prediction은 모델을 가져올 때 내보내기에 사용한 것과 동일한 패턴으로 모델을 재구성합니다.

커스텀 예측 루틴(베타)을 만드는 경우에는 이 요구사항이 적용되지 않습니다.

이후의 모델 반복을 대비하여 새 모델에 각각 전용 디렉토리가 있도록 Cloud Storage 버킷을 구성하세요.

저장된 모델을 Cloud Storage에 업로드

AI Platform Training을 실행하는 데 사용하는 Google Cloud 프로젝트 외부에 있는 Cloud Storage 버킷을 사용할 경우 이 버킷에 대한 액세스 권한이 AI Platform Training에 있는지 확인해야 합니다.

# Upload the saved model file to Cloud Storage
gcs_model_path = os.path.join('gs://', BUCKET_NAME,
    datetime.datetime.now().strftime('iris_%Y%m%d_%H%M%S'), model_filename)
subprocess.check_call(['gsutil', 'cp', model_filename, gcs_model_path],
    stderr=sys.stdout)

# Upload the saved model file to Cloud Storage
gcs_model_path = os.path.join('gs://', BUCKET_NAME,
    datetime.datetime.now().strftime('iris_%Y%m%d_%H%M%S'), model_filename)
subprocess.check_call(['gsutil', 'cp', model_filename, gcs_model_path],
    stderr=sys.stdout)

학습 애플리케이션 패키지 만들기

위의 스니펫에서 생성된 iris_training.py를 사용하여 iris_training.py를 기본 모듈로 포함하는 학습 애플리케이션 패키지를 만듭니다.

학습 애플리케이션 패키지를 만드는 가장 쉽고 권장되는 방법은 학습 작업을 제출할 때 gcloud를 사용하여 애플리케이션을 패키징하고 업로드하는 것입니다. 이 방법을 사용하려면 파일 두 개로 구성된 아주 단순한 파일 구조를 만들어야 합니다.

iris_sklearn_trainer/
    __init__.py
    iris_training.py

iris_xgboost_trainer/
    __init__.py
    iris_training.py

학습 애플리케이션을 패키지화하는 방법에 대해 자세히 알아보세요.

로컬에서 트레이너 실행

gcloud ai-platform local train 명령어를 사용하면 교육 애플리케이션을 로컬에서 테스트할 수 있습니다. 이 단계는 선택사항이지만 디버깅에 유용합니다.

TRAINING_PACKAGE_PATH="./iris_sklearn_trainer/"
MAIN_TRAINER_MODULE="iris_sklearn_trainer.iris_training"

gcloud ai-platform local train \
  --package-path $TRAINING_PACKAGE_PATH \
  --module-name $MAIN_TRAINER_MODULE

TRAINING_PACKAGE_PATH="./iris_xgboost_trainer/"
MAIN_TRAINER_MODULE="iris_xgboost_trainer.iris_training"

gcloud ai-platform local train \
  --package-path $TRAINING_PACKAGE_PATH \
  --module-name $MAIN_TRAINER_MODULE

학습 작업 제출

이 섹션에서는 gcloud ai-platform jobs submit training을 사용하여 학습 작업을 제출합니다.

학습 작업 매개변수 지정

학습 작업 요청의 각 매개변수에 다음과 같은 환경 변수를 설정합니다.

• BUCKET_NAME - Cloud Storage 버킷 이름입니다.
• JOB_NAME - 작업에 사용할 이름입니다(대소문자가 혼합된 문자, 숫자, 밑줄만 사용, 문자로 시작). 예를 들면 iris_scikit_learn_$(date +"%Y%m%d_%H%M%S") 또는 iris_xgboost_$(date +"%Y%m%d_%H%M%S")입니다.
• JOB_DIR - 학습 작업의 출력 파일에 사용할 Cloud Storage 위치의 경로입니다. 예를 들면 gs://$BUCKET_NAME/scikit_learn_job_dir 또는 gs://$BUCKET_NAME/xgboost_job_dir입니다.
• TRAINING_PACKAGE_PATH - 학습 애플리케이션의 루트 디렉터리에 대한 로컬 경로입니다. 예를 들면 ./iris_sklearn_trainer/ 또는 ./iris_xgboost_trainer/입니다.
• MAIN_TRAINER_MODULE - AI Platform Training 서비스가 실행할 파일을 지정합니다. 형식은 [YOUR_FOLDER_NAME.YOUR_PYTHON_FILE_NAME]입니다. 예를 들면 iris_sklearn_trainer.iris_training 또는 iris_xgboost_trainer.iris_training입니다.
• REGION - 학습 작업을 실행하는 데 사용할 리전의 이름입니다. AI Platform Training 서비스에 사용 가능한 리전 중 하나를 사용합니다. Cloud Storage 버킷이 동일한 리전에 있는지 확인합니다.
• RUNTIME_VERSION - scikit-learn을 지원하는 AI Platform Training 런타임 버전을 지정해야 합니다. 이 예시에서는 2.11입니다.
• PYTHON_VERSION - 작업에 사용할 Python 버전입니다. 이 가이드에서는 Python 3.7을 지정합니다.
• SCALE_TIER - 학습 작업을 실행할 머신의 사전 정의된 클러스터 사양입니다. 이 경우는 BASIC입니다. 커스텀 확장 등급을 사용하여 고유한 학습용 클러스터 구성을 정의할 수도 있습니다.

편의를 위해 아래에 이 가이드의 환경 변수가 있습니다.

    BUCKET_NAME=[YOUR-BUCKET-NAME]
    JOB_NAME="iris_scikit_learn_$(date +"%Y%m%d_%H%M%S")"
    JOB_DIR=gs://$BUCKET_NAME/scikit_learn_job_dir
    TRAINING_PACKAGE_PATH="./iris_sklearn_trainer/"
    MAIN_TRAINER_MODULE="iris_sklearn_trainer.iris_training"
    REGION=us-central1
    RUNTIME_VERSION=2.11
    PYTHON_VERSION=3.7
    SCALE_TIER=BASIC

    BUCKET_NAME=[YOUR-BUCKET-NAME]
    JOB_NAME="iris_xgboost_$(date +"%Y%m%d_%H%M%S")"
    JOB_DIR=gs://$BUCKET_NAME/xgboost_job_dir
    TRAINING_PACKAGE_PATH="./iris_xgboost_trainer/"
    MAIN_TRAINER_MODULE="iris_xgboost_trainer.iris_training"
    REGION=us-central1
    RUNTIME_VERSION=2.11
    PYTHON_VERSION=3.7
    SCALE_TIER=BASIC

학습 작업 요청을 제출합니다.

gcloud ai-platform jobs submit training $JOB_NAME \
  --job-dir $JOB_DIR \
  --package-path $TRAINING_PACKAGE_PATH \
  --module-name $MAIN_TRAINER_MODULE \
  --region $REGION \
  --runtime-version=$RUNTIME_VERSION \
  --python-version=$PYTHON_VERSION \
  --scale-tier $SCALE_TIER

다음과 비슷한 출력이 표시됩니다.

Job [iris_scikit_learn_[DATE]_[TIME]] submitted successfully.
Your job is still active. You may view the status of your job with the command

  $ gcloud ai-platform jobs describe iris_scikit_learn_[DATE]_[TIME]

or continue streaming the logs with the command

  $ gcloud ai-platform jobs stream-logs iris_scikit_learn_[DATE]_[TIME]

jobId: iris_scikit_learn_[DATE]_[TIME]
state: QUEUED

학습 로그 보기(선택사항)

AI Platform Training은 모든 stdout 및 stderr 스트림과 로깅 구문을 캡처합니다. 이러한 로그는 Logging에 저장되며 실행 중 및 실행 후에 볼 수 있습니다.

학습 작업에 대한 로그를 보려면 다음 단계를 따르세요.

gcloud ai-platform jobs stream-logs $JOB_NAME

Cloud Storage에서 모델 파일 확인

대상 모델 폴더의 콘텐츠를 보고 저장된 모델 파일이 Cloud Storage에 업로드되었는지 확인합니다.

gcloud storage ls gs://$BUCKET_NAME/iris_*

출력 예시:

gs://bucket-name/iris_20180518_123815/:
gs://bucket-name/iris_20180518_123815/model.joblib