계층적 네임스페이스

이 페이지에서는 계층적 네임스페이스, 주요 기능, 일반적인 사용 사례, 이점, 고려해야 할 제한사항을 간략히 설명합니다.

개요

계층적 네임스페이스는 Cloud Storage에서 제공하는 기능으로, 객체를 폴더로 구성할 수 있습니다. 계층적 네임스페이스를 사용하면 데이터를 논리적 파일 시스템 구조에 저장할 수 있습니다. 파일 시스템 구조로 데이터를 구성하면 성능이 향상되고 일관성이 보장되며 데이터 집약적인 파일 지향 워크로드의 관리가 간소화됩니다.

폴더 관리 작업은 폴더 만들기, 삭제, 나열, 이름 바꾸기 등의 안정성과 관리 기능을 제공합니다. 객체의 계층적 구성은 데이터 구성을 간소화하고 데이터 관리 작업을 간소화합니다. 계층적 네임스페이스가 사용 설정된 버킷의 폴더에는 객체, 다른 폴더 또는 이 두 가지의 조합이 포함될 수 있습니다.

버킷을 만들 때 계층적 네임스페이스를 사용할지 여부를 선택해야 합니다. 버킷을 만든 후에는 버킷의 계층적 네임스페이스 설정을 변경할 수 없습니다. 버킷에 계층적 네임스페이스를 사용 설정하는 방법에 관한 자세한 내용은 계층적 네임스페이스가 사용 설정된 버킷 만들기 및 관리를 참고하세요.

다음 다이어그램은 객체가 폴더의 계층 구조로 구성된 계층적 네임스페이스가 사용 설정된 버킷의 예시를 보여줍니다.

주요 특징

계층적 네임스페이스는 다음과 같은 기능을 제공합니다.

• 초기 초당 쿼리 수(QPS) 증가: 계층적 네임스페이스가 사용 설정된 버킷은 계층적 네임스페이스가 사용 설정되지 않은 버킷에 비해 읽기 및 쓰기 작업의 초기 QPS가 더 높습니다. 초기 QPS가 높을수록 데이터 집약적인 워크로드를 더 쉽게 확장하고 처리량을 개선할 수 있습니다.

• 폴더: 폴더는 객체 및 기타 폴더의 컨테이너 역할을 하며 폴더 만들기, 삭제, 가져오기와 같은 작업을 지원합니다.

• 폴더 이름 바꾸기: 폴더 이름 바꾸기 작업을 사용하면 객체를 삭제하지 않고도 폴더 및 기본 폴더의 경로 이름을 원자적으로 바꿀 수 있습니다. 이 기법은 특히 여러 개의 객체가 있는 대용량 폴더의 경우 효율적이고 시간을 절약할 수 있습니다.

• 폴더 나열: 폴더 나열 작업은 버킷 또는 특정 폴더 아래의 모든 폴더를 나열하여 버킷에 저장된 데이터의 구조를 관리하고 이해하는 데 도움이 됩니다.

버킷에 계층적 네임스페이스를 사용 설정해야 하는 경우

파일 시스템과 같은 계층 구조 및 시맨틱스를 예상하는 애플리케이션을 사용할 때는 계층적 네임스페이스를 사용 설정하는 것이 좋습니다. 계층적 네임스페이스는 분석, AI, ML 워크로드와 같은 데이터 집약적인 작업에 유용합니다. 다음은 계층형 네임스페이스를 사용해야 하는 일반적인 시나리오입니다.

• Hadoop 기반 처리: Hadoop 및 Spark 워크로드는 전통적으로 파일 시스템과 같은 스토리지 구조와 파일 및 폴더의 시간 기반 이름 지정을 예상합니다. 계층적 네임스페이스는 Cloud Storage 커넥터와 통합되어 향상된 처리량과 원자적 폴더 이름 변경을 제공하여 여러 데이터 처리 파이프라인의 데이터 무결성과 일관성을 개선합니다.

• 파일 지향 워크로드 처리: 일괄 분석 처리, 금융 서비스 또는 고성능 컴퓨팅과 같은 워크로드는 폴더 및 파일의 계층 구조를 기반으로 파티션으로 구성됩니다. 계층적 네임스페이스는 폴더 관리 전용 API를 사용하여 이러한 환경을 관리하는 데 도움이 됩니다. 또한 계층적 네임스페이스를 사용하면 다른 폴더 및 객체가 포함된 폴더를 간편하게 관리할 수 있습니다. 단일 API 명령어를 사용하면 폴더와 모든 콘텐츠의 이름을 빠르게 바꿔 소중한 시간과 리소스를 절약할 수 있습니다.

• AI 및 ML 처리: TensorFlow, Pandas, PyTorch와 같은 AI 및 ML 도구는 파일 시스템과 같은 액세스 및 시맨틱스를 예상합니다. 계층적 네임스페이스는 특히 Cloud Storage FUSE와 결합하면 처리량을 늘리고 데이터에 효율적으로 액세스할 수 있습니다. 따라서 계층적 네임스페이스는 ML 모델 반복의 성능과 안정성을 향상시킵니다.

버킷에 계층적 네임스페이스를 사용 설정하기 전에 계층적 네임스페이스의 제한사항을 고려해야 합니다. 계층적 네임스페이스 제한사항에 대한 자세한 내용은 제한사항을 참고하세요.

계층적 네임스페이스의 이점

버킷에 계층적 네임스페이스를 사용 설정하면 다음과 같은 작업을 할 수 있습니다.

• 조직 최적화: 데이터를 계층적 폴더 구조로 구성하여 파일 또는 데이터 세트를 관리하고 찾는 데 도움이 됩니다.

• 파일 시스템과 같은 생태계 구축: 계층적 네임스페이스는 폴더, 폴더 이름 변경, 폴더 나열과 같은 파일 시스템과 같은 기능을 도입합니다. 이러한 기능은 Hadoop 생태계, AI 및 ML 워크로드와 같은 파일 지향 애플리케이션에 유용합니다.

• 성능 개선: 데이터 집약적인 워크로드를 확장하여 더 높은 처리량을 처리하면 애플리케이션의 전반적인 성능을 개선할 수 있습니다.

플랫폼 지원

계층적 네임스페이스가 있는 버킷은 다음과 같은 Cloud Storage 플랫폼 기능을 지원합니다.

• 모든 Cloud Storage 객체 API 및 널리 사용되는 Cloud Storage 기능. 지원되지 않는 기능에 관한 자세한 내용은 제한사항을 참고하세요.

• Storage Transfer Service를 사용하여 표준 버킷에서 계층적 네임스페이스가 있는 버킷으로 데이터를 전송합니다.

• 다음 제품과의 통합:

  • Hadoop 워크로드를 위해 Dataproc에서 유지관리하는 Cloud Storage 커넥터. 자세한 내용은 Hadoop 워크로드에 계층적 네임스페이스가 사용 설정된 버킷 사용을 참고하세요.

  • 클라이언트를 사용하는 파일 시스템과 같은 버킷 액세스를 위한 Cloud Storage FUSE.

제한사항

계층적 네임스페이스의 제한사항은 다음과 같습니다.

• 버킷을 만들 때 계층적 네임스페이스를 사용할지 여부를 선택해야 합니다. 버킷을 만든 후에는 버킷의 계층적 네임스페이스 설정을 변경할 수 없습니다.

• 계층적 네임스페이스를 사용 설정하려면 버킷에서 균일한 버킷 수준 액세스도 사용 설정해야 합니다.

• 계층적 네임스페이스를 사용하는 버킷의 경우 미리보기에서 다음 Cloud Storage 기능이 지원되지 않습니다.

  • 소프트 삭제
  • 자동 클래스
  • 객체 버전 관리
  • 객체 보관 잠금
  • 버킷 잠금

다음 단계

• 계층적 네임스페이스가 사용 설정된 버킷 만들기 및 관리
• 폴더 만들기 및 관리
• 폴더 이름 바꾸기
• Hadoop 워크로드에 계층적 네임스페이스 사용