이 페이지에서는 기존 Dataproc 클러스터에 대해 Cloud Data Fusion에서 파이프라인을 실행하는 방법을 설명합니다.
기본적으로 Cloud Data Fusion은 파이프라인마다 임시 클러스터를 만듭니다. 파이프라인 실행 시작 시 클러스터를 만든 후 파이프라인 실행이 완료되면 삭제합니다. 이 동작은 리소스가 필요할 때만 생성되도록 설정하여 비용을 절약하지만, 다음 시나리오에서는 이러한 기본 동작이 적합하지 않을 수 있습니다.
모든 파이프라인의 새 클러스터를 만드는 데 걸리는 시간이 사용 사례에 실용적이지 않은 경우
조직에서 중앙 집중식으로 클러스터 생성을 관리해야 하는 경우, 예를 들어 모든 Dataproc 클러스터에 대해 특정 정책을 적용하려는 경우
이러한 시나리오에서는 대신 다음 단계를 수행하여 기존 클러스터에 대해 파이프라인을 실행합니다.
[[["이해하기 쉬움","easyToUnderstand","thumb-up"],["문제가 해결됨","solvedMyProblem","thumb-up"],["기타","otherUp","thumb-up"]],[["이해하기 어려움","hardToUnderstand","thumb-down"],["잘못된 정보 또는 샘플 코드","incorrectInformationOrSampleCode","thumb-down"],["필요한 정보/샘플이 없음","missingTheInformationSamplesINeed","thumb-down"],["번역 문제","translationIssue","thumb-down"],["기타","otherDown","thumb-down"]],["최종 업데이트: 2025-04-02(UTC)"],[[["This guide explains how to run Cloud Data Fusion pipelines against a pre-existing Dataproc cluster, instead of the default behavior of creating and deleting ephemeral clusters."],["Using an existing cluster can be beneficial when cluster creation time is prohibitive or when centralized cluster management is required by the organization."],["To use an existing Dataproc cluster, a Cloud Data Fusion instance and a pre-created Dataproc cluster are needed, and if running version 6.2 of Cloud Data Fusion, an older Dataproc image or an upgrade is required."],["Connecting to the existing cluster involves creating a new Compute Engine profile within Cloud Data Fusion and selecting the \"Existing Dataproc\" option, then providing the required information."],["After creating the custom profile, the pipeline must be configured in the Studio to use the custom profile, and then the pipeline will run against the designated Dataproc cluster."]]],[]]
