이 문서에서는 Spark UI를 사용하여 Spark용 Dataproc Serverless 대화형 세션을 모니터링하고 문제를 해결하는 방법을 설명합니다.
Spark UI
Spark UI는 Spark용 Dataproc 서버리스 대화형 세션에서 Apache Spark 실행 세부정보를 수집합니다. Spark UI 기능은 기본적으로 사용 설정되어 있으며 무료로 사용 가능합니다. Spark UI 기능에서 수집한 데이터는 90일 동안 보관됩니다.
필요한 Identity and Access Management 권한 및 역할
대화형 세션에서 Spark UI 기능을 사용하려면 다음 권한이 필요합니다.
데이터 수집 권한: dataproc.sessions.sparkApplicationWrite. 이 권한은 대화형 세션을 실행하는 서비스 계정에 부여되어야 합니다.
이 권한은 Dataproc 서버리스에서 기본적으로 사용하는 Compute Engine 기본 서비스 계정에 자동으로 부여되는 Dataproc Worker 역할에 포함되어 있습니다. 그러나 세션 또는 세션 런타임 템플릿에 커스텀 서비스 계정을 지정하는 경우에는 일반적으로 서비스 계정에 Dataproc Worker 역할을 부여하여 이 dataproc.sessions.sparkApplicationWrite 권한을 해당 서비스 계정에 추가해야 합니다.
Spark UI 액세스 권한: dataproc.sessions.sparkApplicationRead. Google Cloud 콘솔에서 Spark UI에 액세스하려면 사용자에게 이 권한을 부여해야 합니다. 이 권한은 Dataproc Viewer, Dataproc Editor, Dataproc Administrator 역할에 포함되어 있습니다. Google Cloud 콘솔에서 Spark UI를 열려면 이러한 역할 중 하나가 있거나 이 권한이 포함된 커스텀 역할이 있어야 합니다.
Spark UI 열기
Spark UI 페이지는 Spark용 Google Cloud 콘솔 세션에서 사용 가능합니다.
Spark UI 보기 링크가 중지되었나요?필요한 권한이 부여되지 않거나 대화형 세션 세부정보 페이지에서 세션을 만들거나세션 런타임 템플릿을 만들 때Spark UI 사용 설정 체크박스를 선택 해제하거나 spark.dataproc.appContext.enabled 속성을 false (기본값: true)로 설정하면 Spark UI 보기 버튼이 중지됩니다.
[[["이해하기 쉬움","easyToUnderstand","thumb-up"],["문제가 해결됨","solvedMyProblem","thumb-up"],["기타","otherUp","thumb-up"]],[["이해하기 어려움","hardToUnderstand","thumb-down"],["잘못된 정보 또는 샘플 코드","incorrectInformationOrSampleCode","thumb-down"],["필요한 정보/샘플이 없음","missingTheInformationSamplesINeed","thumb-down"],["번역 문제","translationIssue","thumb-down"],["기타","otherDown","thumb-down"]],["최종 업데이트: 2025-04-03(UTC)"],[[["The Spark UI is a free feature that collects and displays Apache Spark execution details from Dataproc Serverless interactive sessions, retaining data for 90 days, and is enabled by default."],["To use the Spark UI with interactive sessions, the service account running the session needs the `dataproc.sessions.sparkApplicationWrite` permission, and users accessing the UI need the `dataproc.sessions.sparkApplicationRead` permission."],["You can access the Spark UI by navigating to the Dataproc Interactive Sessions in the Google Cloud console, selecting an interactive session, and clicking \"View Spark UI\" in the top menu."],["The \"View Spark UI\" button will be disabled if the necessary permissions are missing or if the Spark UI feature has been disabled during session creation by unchecking the \"Enable Spark UI\" checkbox or setting the `spark.dataproc.appContext.enabled` property to false."]]],[]]
