예측용 테이블 형식 워크플로를 사용한 모델 학습

이 페이지에서는 예측용 테이블 형식 워크플로를 사용하여 테이블 형식 데이터 세트에서 예측 모델을 학습시키는 방법을 보여줍니다.

이 워크플로에 사용되는 서비스 계정에 대한 자세한 내용은 테이블 형식 워크플로의 서비스 계정을 참조하세요.

예측용 테이블 형식 워크플로를 실행하는 동안 할당량과 관련된 오류가 발생하면 할당량 상향을 요청해야 할 수 있습니다. 자세한 내용은 테이블 형식 워크플로의 할당량 관리를 참조하세요.

예측용 테이블 형식 워크플로는 모델 내보내기를 지원하지 않습니다.

워크플로 API

이 워크플로에서는 다음 API를 사용합니다.

• Vertex AI
• Dataflow
• Compute Engine
• Cloud Storage

이전 초매개변수 조정 결과의 URI 가져오기

이전에 예측 실행을 위한 테이블 형식 워크플로를 완료한 경우 이전 실행의 초매개변수 조정 결과를 사용하여 학습 시간과 리소스를 절약할 수 있습니다. Google Cloud 콘솔을 사용하거나 API를 사용하여 프로그래매틱 방식으로 로드하여 이전 초매개변수 조정 결과를 찾을 수 있습니다.

def get_task_detail(
  task_details: List[Dict[str, Any]], task_name: str
) -> List[Dict[str, Any]]:
  for task_detail in task_details:
      if task_detail.task_name == task_name:
          return task_detail

pipeline_task_details = job.gca_resource.job_detail.task_details

stage_1_tuner_task = get_task_detail(
    pipeline_task_details, "automl-forecasting-stage-1-tuner"
)
stage_1_tuning_result_artifact_uri = (
    stage_1_tuner_task.outputs["tuning_result_output"].artifacts[0].uri
)

모델 학습

다음 샘플 코드에서는 모델 학습 파이프라인을 실행하는 방법을 보여줍니다.

job = aiplatform.PipelineJob(
    ...
    template_path=template_path,
    parameter_values=parameter_values,
    ...
)
job.run(service_account=SERVICE_ACCOUNT)

job.run()의 선택사항인 service_account 매개변수를 사용하면 Vertex AI Pipelines 서비스 계정을 원하는 계정으로 설정할 수 있습니다.

Vertex AI는 모델 학습을 위해 다음 방법을 지원합니다.

• TiDE(Time series Dense Encoder). 이 모델 학습 방법을 사용하려면 다음 함수를 사용하여 파이프라인 및 매개변수 값을 정의합니다.

  template_path, parameter_values = automl_forecasting_utils.get_time_series_dense_encoder_forecasting_pipeline_and_parameters(...)
  

• TFT(Temporal Fusion Transformer). 이 모델 학습 방법을 사용하려면 다음 함수를 사용하여 파이프라인 및 매개변수 값을 정의합니다.

  template_path, parameter_values = automl_forecasting_utils.get_temporal_fusion_transformer_forecasting_pipeline_and_parameters(...)
  

• AutoML(L2L). 이 모델 학습 방법을 사용하려면 다음 함수를 사용하여 파이프라인 및 매개변수 값을 정의합니다.

  template_path, parameter_values = automl_forecasting_utils.get_learn_to_learn_forecasting_pipeline_and_parameters(...)
  

• Seq2Seq+. 이 모델 학습 방법을 사용하려면 다음 함수를 사용하여 파이프라인 및 매개변수 값을 정의합니다.

  template_path, parameter_values = automl_forecasting_utils.get_sequence_to_sequence_forecasting_pipeline_and_parameters(...)
  

자세한 내용은 모델 학습 방법을 참조하세요.

학습 데이터는 Cloud Storage의 CSV 파일이거나 BigQuery의 테이블일 수 있습니다.

다음은 모델 학습 매개변수의 하위 집합입니다.

변환

자동 또는 유형 해결의 사전 매핑을 특성 열에 제공할 수 있습니다. 지원되는 유형은 자동, 숫자, 범주형, 텍스트, 타임스탬프입니다.

다음 코드는 transformations 매개변수를 채우는 도우미 함수를 제공합니다. 또한 이 함수를 사용하여 features 변수로 정의된 열 집합에 자동 변환을 적용하는 방법을 보여줍니다.

def generate_transformation(
      auto_column_names: Optional[List[str]]=None,
      numeric_column_names: Optional[List[str]]=None,
      categorical_column_names: Optional[List[str]]=None,
      text_column_names: Optional[List[str]]=None,
      timestamp_column_names: Optional[List[str]]=None,
    ) -> List[Dict[str, Any]]:
    if auto_column_names is None:
      auto_column_names = []
    if numeric_column_names is None:
      numeric_column_names = []
    if categorical_column_names is None:
      categorical_column_names = []
    if text_column_names is None:
      text_column_names = []
    if timestamp_column_names is None:
      timestamp_column_names = []
    return {
        "auto": auto_column_names,
        "numeric": numeric_column_names,
        "categorical": categorical_column_names,
        "text": text_column_names,
        "timestamp": timestamp_column_names,
    }

transformations = generate_transformation(auto_column_names=features)

변환에 대한 자세한 내용은 데이터 유형 및 변환을 참조하세요.

워크플로 맞춤설정 옵션

파이프라인 정의 중에 전달되는 인수 값을 정의하여 예측용 테이블 형식 워크플로를 맞춤설정할 수 있습니다. 다음 방법으로 워크플로를 맞춤설정할 수 있습니다.

• 하드웨어 구성
• 아키텍처 검색 건너뛰기

하드웨어 구성

다음 모델 학습 매개변수를 사용하면 머신 유형과 학습용 머신 수를 구성할 수 있습니다. 이 옵션은 대규모 데이터 세트가 있고 이에 따라 머신 하드웨어를 최적화하려는 경우에 적합합니다.

다음은 TensorFlow chief 노드의 n1-standard-8 머신 유형과 TensorFlow 평가자 노드의 n1-standard-4 머신 유형을 설정하는 방법을 보여주는 코드입니다.

worker_pool_specs_override = [
  {"machine_spec": {"machine_type": "n1-standard-8"}}, # override for TF chief node
  {},  # override for TF worker node, since it's not used, leave it empty
  {},  # override for TF ps node, since it's not used, leave it empty
  {
    "machine_spec": {
        "machine_type": "n1-standard-4" # override for TF evaluator node
    }
  }
]

아키텍처 검색 건너뛰기

다음 모델 학습 매개변수를 사용하면 아키텍처를 검색하지 않고 파이프라인을 실행하고 대신 이전 파이프라인 실행의 초매개변수 집합을 제공할 수 있습니다.

다음 단계

• 예측 모델의 일괄 예측 알아보기
• 모델 학습 가격 책정 알아보기