과학적 방법에서 중요한 부분은 관찰과 실험 매개변수를 모두 기록하는 것입니다. 데이터 과학에서는 머신러닝(ML) 실험에 사용되는 매개변수, 아티팩트, 측정항목을 추적하는 것도 중요합니다. 이 메타데이터는 다음을 수행하는 데 도움이 됩니다.
- 예측 품질의 변화를 파악하기 위해 프로덕션 ML 시스템 실행을 분석합니다.
- 다양한 초매개변수 집합의 효과를 비교하기 위해 ML 실험을 분석합니다.
- ML 아티팩트 계보(예: 데이터 세트 및 모델)를 추적하여 아티팩트 생성에 기여한 요소 또는 해당 아티팩트를 사용하여 하위 아티팩트를 만드는 방법을 이해할 수 있습니다.
- 같은 아티팩트와 매개변수를 사용하여 ML 워크플로를 다시 실행합니다.
- 거버넌스 목적으로 ML 아티팩트의 다운스트림 사용량을 추적합니다.
Vertex ML 메타데이터를 사용하면 ML 시스템에서 생성된 메타데이터와 아티팩트를 기록하고 ML 메타데이터를 쿼리하여 ML 시스템 또는 ML 시스템에서 생성하는 아티팩트의 성능을 분석, 디버깅, 감사할 수 있습니다.
Vertex ML 메타데이터는 Google의 TensorFlow Extended팀에서 개발한 오픈소스 ML Metadata(MLMD) 라이브러리에 사용되는 개념을 기반으로 합니다.
Vertex ML Metadata 개요
Vertex ML Metadata는 ML 시스템의 메타데이터를 그래프로 설명합니다.
메타데이터 그래프에서 아티팩트와 실행은 노드이고, 이벤트는 아티팩트를 실행의 입력 또는 출력으로 연결하는 에지입니다. 컨텍스트는 아티팩트 및 실행의 집합을 논리적으로 그룹화하는 데 사용되는 하위 그래프를 나타냅니다.
아티팩트, 실행, 컨텍스트에 키-값 쌍 메타데이터를 적용할 수 있습니다. 예를 들어 모델에는 모델의 정확성, 정밀도, 재현율과 같은 모델 및 성능 측정항목을 학습시키는 데 사용되는 프레임워크를 설명하는 메타데이터가 있을 수 있습니다.
ML 시스템 메타데이터 분석에 대해 자세히 알아보세요. Vertex AI Pipelines에서 메타데이터를 분석하는 데 관심이 있는 경우 이 단계별 튜토리얼을 확인하세요.
ML 아티팩트 계보
머신 ML 시스템의 성능 변화를 이해하려면 ML 워크플로에서 생성된 메타데이터와 아티팩트의 계보를 분석할 수 있어야 합니다. 아티팩트의 계보에는 아티팩트 생성에 영향을 준 모든 요소뿐 아니라 이 아트팩트에서 비롯된 아티팩트와 메타데이터도 포함됩니다.
예를 들어 모델의 계보에 다음이 포함될 수 있습니다.
- 모델을 만들 때 사용되는 학습, 테스트, 평가 데이터
- 모델 학습 중에 사용되는 초매개변수
- 모델을 학습시키는 데 사용된 코드입니다.
- 모델의 정확도와 같은 학습 및 평가 프로세스에서 기록된 메타데이터입니다.
- 일괄 예측 결과와 같이 이 모델에서 비롯된 아티팩트입니다.
Vertex ML 메타데이터를 사용하여 ML 시스템의 메타데이터를 추적하면 다음과 같은 질문에 답할 수 있습니다.
- 특정 모델을 학습시키는 데 어떤 데이터 세트가 사용되었나요?
- 조직의 모델 중 특정 데이터 세트를 사용하여 학습된 모델은 무엇인가요?
- 가장 정확한 모델을 생성한 실행은 무엇이고 모델 학습에 사용된 초매개변수는 무엇인가요?
- 특정 모델이 어떤 배포 대상에 배포되고 배포 시기가 언제인가요?
- 특정 시점에 예측을 만드는 데 사용된 모델 버전은 무엇인가요?
ML 시스템 메타데이터 분석에 대해 자세히 알아보세요.