Compute Engine의 파일 스토리지

파일 서버 솔루션 요약

다음 표에는 파일 서버 솔루션과 기능이 요약되어 있습니다.

내구성이 뛰어난 디스크 및 로컬 SSD

데이터에 하나의 VM만 액세스하면 되거나 시간이 지나도 바뀌지 않는 데이터인 경우 Compute Engine에서 제공하는 내구성 있는 디스크(하이퍼디스크 또는 영구 디스크)를 사용하여 파일 서버를 완전히 배제할 수 있습니다. Ext4 또는 XFS와 같은 파일 시스템으로 Hyperdisk 및 영구 디스크 짧은 볼륨을 포맷하고 읽기-쓰기 또는 읽기 전용 모드로 VM에 연결할 수 있습니다. 즉, 우선 특정 볼륨을 특정 인스턴스에 연결하고 필요한 데이터와 함께 이를 로드한 다음, 이것을 수백 개의 VM에 동시에 읽기 전용 디스크로서 연결할 수 있다는 뜻입니다. 모든 사용 사례에 읽기 전용 디스크를 사용할 수 있는 것은 아니지만 파일 서버 사용에 비해 복잡성이 크게 감소합니다.

내구성이 뛰어난 디스크는 일관된 성능을 제공합니다. 인스턴스에 연결하는 같은 크기의(그리고 SSD 영구 디스크의 경우 vCPU 수가 같은) 모든 영구 디스크 볼륨은 성능 특성이 서로 동일합니다. 프로덕션에서 디스크를 사용하기 전에 미리 가동하거나 테스트할 필요가 없습니다.

볼륨을 프로비저닝한 후에 고려해야 할 I/O 비용이 없으므로 영구 디스크 비용을 쉽게 파악할 수 있습니다. 필요한 경우 영구 디스크의 크기를 조절할 수도 있습니다. 이렇게 하면 적은 비용과 용량이 작은 볼륨으로 시작할 수 있으며 용량을 확장하기 위해 추가 인스턴스 또는 디스크를 생성할 필요가 없습니다.

총 스토리지 용량이 주요 요구사항이라면 저렴한 표준 영구 디스크를 사용할 수 있습니다. 내구성을 지속하면서 최고의 성능을 얻기 위해서는 SSD 영구 디스크를 사용할 수 있습니다.

또한 파일 서버의 스토리지 기기가 필요한 스토리지 대역폭, IOPS, 네트워크 대역폭을 받을 수 있도록 올바른 Compute Engine 영구 디스크 용량 및 vCPU 수를 선택해야 합니다. VM의 네트워크 대역폭은 선택한 머신 유형에 따라 다릅니다. 예를 들어 A4 VM의 최대 네트워크 대역폭은 최대 3,600Gbps입니다. 자세한 내용은 머신 계열 리소스 및 비교 가이드를 참조하세요. 영구 디스크 조정에 관한 자세한 내용은 영구 디스크 성능 정보를 참고하세요.

데이터 수명이 짧고 데이터에 밀리초 미만의 지연과 높은 초당 I/O 작업 수(IOPS)가 필요하면 로컬 SSD(최대 9TB)를 활용하여 성능을 극대화하면 됩니다. 로컬 SSD는 Gbps 대역폭과 수백만 IOPS를 제공하지만 인스턴스의 할당된 네트워크 대역폭은 사용하지 않습니다. 로컬 SSD에는 가용성, 내구성, 유연성이 어느 정도 상충됩니다.

Compute Engine의 스토리지 옵션에 관한 자세한 내용은 클라우드 워크로드에 최적화된 스토리지 전략 설계를 참고하세요.

파일 스토리지 솔루션 선택 시 고려사항

파일 스토리지 솔루션을 선택할 때 관리 효율성, 비용, 성능, 확장성 중에서 선택해야 합니다. 워크로드가 잘 정의되어 있으면 보다 쉽게 결정할 수 있지만, 이러한 경우는 흔치 않습니다. 시간이 지나면서 워크로드가 진화하거나 심하게 변형되는 경우 비용 절감을 희생시켜 유연성과 탄력성을 얻음으로써 솔루션으로 확장시키는 것이 좋습니다. 반면에 일시적이고 잘 알려진 워크로드가 있으면 중간 스토리지 요구를 충족하기 위해 세분화하고 다시 빌드할 수 있는 목적별 파일 스토리지 아키텍처를 만들 수 있습니다.

가장 먼저 해야 할 결정은 제품 지원이 포함된 솔루션 또는 지원되지 않는 솔루션과 같이 관리형 스토리지 서비스에 대한 비용 지급 여부를 결정하는 것입니다.

• 관리형 파일 스토리지 서비스는 Google 또는 파트너가 모든 작업을 처리하기 때문에 운영하기가 가장 쉽습니다. 이러한 서비스는 다른 대부분의 Google Cloud 서비스와 같이 가용성에 대한 서비스수준계약 (SLA)도 제공할 수 있습니다.
• 관리되지는 않지만 지원되는 솔루션은 유연성이 큽니다. 파트너가 모든 문제를 해결할 수 있지만 스토리지 솔루션의 일상적인 작업은 사용자 몫입니다.
• 지원되지 않는 솔루션은 모든 문제가 사용자 책임이므로 배포 및 유지 관리에 많은 노력이 필요합니다. 이러한 솔루션은 이 문서에서 다루지 않습니다.

그런 다음에는 솔루션의 내구성 및 가용성 요구사항을 결정해야 합니다. 대부분의 파일 솔루션은 영역별 솔루션이며 기본적으로 영역에 장애가 발생하면 보호 기능을 제공하지 않습니다. 따라서 영역별 장애로부터 보호하는 재해 복구(DR) 솔루션이 필요한지 여부를 확인하는 것이 중요합니다. 또한 내구성 및 가용성에 대한 애플리케이션 요구사항을 이해하는 것이 중요합니다. 예를 들어 파일 솔루션 소프트웨어 구성과 마찬가지로 배포에서 로컬 SSD 또는 영구 디스크 중 무엇을 선택하는지도 큰 영향을 줄 수 있습니다. 우수한 내구성과 가용성을 갖추고 영역 및 리전에 장애가 발생하는 것을 방지하기 위해서는 각 솔루션마다 세심한 계획이 필요합니다.

마지막으로 데이터에 액세스해야 하는 위치 (즉, 영역, 리전, 온프레미스 데이터 센터)를 고려합니다. 일부 솔루션에서만 하이브리드 온프레미스 및 클라우드 내 액세스를 허용하므로 데이터에 액세스하는 컴퓨팅 팜의 위치가 파일러 솔루션 선택에 영향을 미치게 됩니다.

관리형 파일 스토리지 솔루션

이 섹션에서는 Google 관리형 파일 스토리지 솔루션에 대해 설명합니다.

Filestore 기본

Filestore Basic 인스턴스는 파일 공유, 소프트웨어 개발, GKE 워크로드에 적합합니다. 데이터 저장을 위해 HDD 또는 SSD를 선택할 수 있습니다. 성능은 SSD가 더 뛰어납니다. 어느 옵션을 선택하든 용량이 점진적으로 확장되며 백업을 사용하여 데이터를 보호할 수 있습니다.

Filestore Zonal

Filestore Zonal은 Google Cloud 및 하이브리드 클라우드 간의 엔터프라이즈 스토리지 및 데이터 관리를 단순화합니다. Google Cloud Filestore Zonal은 전역 데이터에 대해 비용 효율적인 고성능 병렬 액세스를 제공하는 한편, 동적으로 확장 가능한 분산형 파일 시스템으로 지원되는 엄격한 일관성을 유지합니다. Filestore Zonal에서는 기존 NFS 애플리케이션 및 NAS 워크플로가 리팩터링 없이 클라우드에서 실행될 수 있지만, 엔터프라이즈 데이터 서비스(예: 스냅샷 및 백업)의 이점을 보유합니다. Filestore CSI 드라이버가 탑재되어 있어 데이터 지속성, 이동성, 컨테이너화된 워크로드 공유가 원활합니다.

필요에 따라 Filestore Zonal 인스턴스를 확장할 수 있습니다. 이렇게 하면 필요할 때 파일 시스템 인프라를 만들고 확장하여 스토리지 성능과 용량이 항상 동적 워크플로 요구사항에 맞게 유지됩니다. Filestore Zonal 클러스터가 확장되면 메타데이터 및 I/O 성능이 모두 이에 비례하여 확장됩니다. 이 같은 확장 덕분에 고성능 컴퓨팅, 분석, 사이트 간 데이터 집계, DevOps 등과 같은 광범위한 데이터 집약적 워크플로를 개선하고 가속화할 수 있습니다. 따라서 Filestore Zonal은 생명과학(예: 게놈 시퀀싱), 금융 서비스, 미디어 및 엔터테인먼트와 같은 데이터 중심 산업에서 사용하기에 매우 적합합니다.

중요 데이터의 보호 수준을 높이기 위해 Filestore Zonal에서는 또한 주기적으로 스냅샷을 작성하고 유지하며, 백업을 만들고, 다른 리전에 복제할 수 있습니다. Filestore를 사용하면 모든 이전 복구 지점으로부터 10분 이내에 개별 파일 또는 전체 파일 시스템을 복구할 수 있습니다.

Filestore Regional

Filestore Regional은 99.99% 리전별 가용성을 제공하는 SLA로 지원되는, Google Cloud에서 중요한 파일 기반 애플리케이션을 배포할 수 있게 해주는 완전 관리형 클라우드 기반 NFS 솔루션입니다. 99.99% 리전별 가용성 SLA의 경우 Filestore Regional은 고가용성이 필요한 애플리케이션용으로 설계됩니다. 마우스 클릭 몇 번 (또는 몇 가지 gcloud 명령어 또는 API 호출)을 통해 한 리전 내에서 3개 영역 간에 동기적으로 복제되는 NFS 공유를 프로비저닝할 수 있습니다. 리전 내 영역을 사용할 수 없으면 Filestore Regional이 운영 개입 없이도 애플리케이션에 데이터를 투명하게 계속 제공합니다.

Filestore Regional에서는 중요 데이터의 보호 수준을 높이기 위해 주기적으로 스냅샷을 작성하고 유지하며, 백업을 만들고 다른 리전에 복제할 수도 있습니다. Filestore를 사용하면 모든 이전 복구 지점으로부터 10분 이내에 개별 파일 또는 전체 파일 시스템을 복구할 수 있습니다.

중요 데이터의 보호 수준을 높이기 위해 Filestore에서는 또한 파일 시스템에 대해 스냅샷을 주기적으로 작성하고 유지할 수 있습니다. Filestore를 사용하면 모든 이전 복구 지점으로부터 10분 이내에 개별 파일 또는 전체 파일 시스템을 복구할 수 있습니다.

SAP와 같은 중요 애플리케이션의 경우 데이터베이스 및 애플리케이션 계층이 모두 고가용성이어야 합니다. 이러한 요구사항을 충족시키기 위해서는 기본 제공되는 데이터베이스 고가용성을 사용해서 여러 영역에서 Google Cloud Hyperdisk Extreme에 SAP 데이터베이스 계층을 배포할 수 있습니다. 이와 비슷하게, 여러 VM 간에 공유 실행 파일이 필요한 NetWeaver 애플리케이션 계층을 Filestore Regional에 배포하여, 리전 내에서 여러 영역 간에 Netweaver 데이터를 복제할 수 있습니다. 그 결과 고가용성의 3계층 중요한 애플리케이션 아키텍처를 얻을 수 있습니다.

IT 조직은 또한 Google Kubernetes Engine(GKE)의 컨테이너에 스테이트풀(Stateful) 애플리케이션 배포를 점차적으로 늘립니다. 이로 인해 해당 애플리케이션을 지원하기 위해 사용할 스토리지 인프라를 다시 고려해야 할 수 있습니다. 블록 스토리지 (Hyperdisk 또는 Persistent Disk), 파일 스토리지 (Filestore Basic, Zonal, Regional) 또는 객체 스토리지 (Cloud Storage)를 사용할 수 있습니다. GKE용 Filestore Basic HDD 및 GKE용 Filestore 멀티 공유와 Filestore CSI 드라이버를 함께 사용하면 여러 GKE 포드가 필요한 조직에서 파일 액세스를 공유하여 업무상 중요한 워크로드에 대한 가용성 수준을 높일 수 있습니다.

NetApp Volumes

NetApp Volumes는 Google Cloud 컴퓨팅 인스턴스에 공유 파일 스토리지를 신속하게 마운트할 수 있는 완전 관리형 Google 서비스입니다. NetApp Volumes는 SMB, NFS, 멀티 프로토콜 액세스를 지원합니다. NetApp Volumes는 우수한 데이터 보호 기능(스냅샷 사본, 리전 간 복제 및 백업)과 함께 낮은 지연 시간으로 애플리케이션에 높은 성능을 제공합니다. 이 서비스는 수백 또는 수천 개의 Compute Engine 인스턴스로 확장될 수 있는 순차 워크로드와 무작위 워크로드가 모두 필요한 애플리케이션에 적합합니다. GiB~PiB 크기 범위의 볼륨을 단 몇 초 만에 프로비저닝할 수 있으며 강력한 데이터 보호 기능으로 보호할 수 있습니다. 여러 서비스 수준 (Flex, Standard, Premium, Extreme)이 있는 NetApp Volumes는 가용성에 영향을 주지 않으면서 적합한 성능을 제공합니다.

Google Cloud Managed Lustre

Managed Lustre는 긴밀하게 결합된 HPC 워크로드에 처리량이 높고 지연 시간이 짧은 스토리지를 제공하는 Google 관리형 서비스입니다. 대규모 데이터 세트에 대해 지연 시간이 짧고 처리량이 높은 액세스를 제공하여 HPC 워크로드와 AI 학습 및 추론을 크게 가속화합니다. AI 및 ML 워크로드에 Managed Lustre를 사용하는 방법에 대한 자세한 내용은 Google Cloud에서 AI 및 ML 워크로드를 위한 스토리지 설계를 참조하세요. Managed Lustre는 여러 스토리지 노드에 데이터를 분산하여 여러 VM의 동시 액세스를 지원합니다. 이러한 병렬 액세스를 통해 기존 파일 시스템에서 발생하는 병목 현상을 제거할 수 있으므로 워크로드가 필요한 방대한 양의 데이터를 빠르게 수집하고 처리할 수 있습니다.

Cloud Marketplace의 파트너 솔루션

Cloud Marketplace에서 사용할 수 있는 파트너 제공 솔루션은 다음과 같습니다.

NetApp Cloud Volumes ONTAP

NetApp Cloud Volumes ONTAP (NetApp CVO)은 NetApp의 선도적인 데이터 관리 운영체제인 ONTAP의 모든 기능을 Google Cloud에서 사용할 수 있게 하는 고객 관리형 클라우드 기반 솔루션입니다. Google CloudNetApp CVO는 Google에서 청구 및 지원을 제공하는 VPC 내에 배포됩니다. ONTAP 소프트웨어는 Compute Engine VM에서 실행되며 영구 디스크와 Cloud Storage 버킷(계층화가 사용 설정된 경우)의 조합을 사용하여 NAS 데이터를 저장합니다. 기본 제공 파일은 씬 프로비저닝을 사용하여 NAS 볼륨을 수용하므로 사용하는 스토리지에 대해서만 비용을 지불하면 됩니다. 데이터가 증가하면 집계 용량 풀에 추가 영구 디스크가 추가됩니다.

NetApp CVO는 기본 인프라를 추상화하고 클라우드 또는 온프레미스 환경의 다른 모든 ONTAP 볼륨과 일치하는 집계 풀에서 분할된 가상 데이터 볼륨을 만들 수 있게 해줍니다. 생성된 데이터 볼륨은 모든 버전의 NFS, SMB, 멀티 프로토콜 NFS/SMB, iSCSI를 지원하며 전자 설계 자동화(EDA), 미디어, 엔터테인먼트와 같은 여러 산업에서 사용되는 웹 및 리치 미디어 콘텐츠를 비롯한다양한 파일 기반 워크로드를 지원합니다.

NetApp CVO는 즉각적인 공간 절약 특정 시점 스냅샷, 기본 제공되는 블록 수준, Cloud Storage로의 증분 영구 백업 및 재해 복구를 위한 리전 간 비동기 복제를 지원합니다. Compute Engine 인스턴스 유형 및 영구 디스크를 선택하는 옵션을 통해 워크로드에 필요한 성능을 얻을 수 있습니다. 고성능 구성으로 작동하는 경우에도 NetApp CVO는 중복 삭제, 컴팩션, 압축과 같은 스토리지 효율성을 구현하고 자주 사용하지 않는 데이터를 Cloud Storage 버킷에 자동 계층화하여 페타바이트 단위의 데이터를 저장하는 동시에 전반적인 스토리지 비용을 크게 절감할 수 있습니다.

DDN Infinia

고급 AI 데이터 조정이 필요한 경우 Google Cloud Marketplace에서 제공되는 DDN Infinia를 사용하면 됩니다. Infinia는 추론, 학습, 실시간 분석에 최적화된 AI 중심의 데이터 인텔리전스 솔루션을 제공합니다. 초고속 데이터 수집, 메타데이터가 풍부한 색인 생성, TensorFlow 및 PyTorch와 같은 AI 프레임워크와의 원활한 통합을 지원합니다.

DDN Infinia의 주요 기능은 다음과 같습니다.

• 고성능: 밀리초 미만의 지연 시간과 초당 수 테라바이트의 처리량을 제공합니다.
• 확장성: 테라바이트에서 엑사바이트로 확장할 수 있으며 단일 배포에서 최대 10만 대 이상의 GPU와 100만 명의 동시 클라이언트를 수용할 수 있습니다.
• 예측 가능한 서비스 품질(QoS)을 갖춘 멀티테넌시: 여러 테넌트에 대해 보안이 보장되고 격리된 환경을 제공하며, 워크로드 전반에 걸쳐 일관된 성능을 유지할 수 있도록 예측 가능한 QoS를 제공합니다.
• 통합 데이터 액세스: Amazon S3 호환, CSI, Cinder를 비롯한 기본 제공 멀티프로토콜 지원을 통해 기존 애플리케이션 및 워크플로와 원활하게 통합할 수 있습니다.
• 고급 보안: 데이터 보호 및 규정 준수를 보장하는 기본 제공 암호화, 오류 도메인 인식 삭제 코딩, 스냅샷을 제공합니다.

Nasuni 클라우드 파일 스토리지

Nasuni는 백업 및 DR 하드웨어를 포함하여 엔터프라이즈 파일 서버와 NAS 장치 및 모든 연관된 인프라를 더 간단한 저비용 클라우드 대체 항목으로 바꿔줍니다. Nasuni는 Google Cloud 객체 스토리지를 사용하여 빠르고 비구조적인 파일 데이터 증가를 처리하기 위해 확장되는 보다 효율적인 Software-as-a-Service (SaaS) 스토리지 솔루션을 제공합니다. Nasuni는 근무 위치에 관계없이 모든 직원에 대한 부서, 프로젝트, 조직 파일 공유, 애플리케이션 워크플로를 처리하도록 설계되었습니다.

Nasuni는 필요에 따라 증가 및 확장될 수 있도록 모든 규모의 기업 및 조직에 맞게 세 가지 가격 책정 패키지로 제공됩니다.

이점은 다음과 같습니다.

• 최대 70%까지 클라우드 기반 기본 파일 스토리지 비용 절약. Nasuni의 아키텍처에는 기본 제공되는 객체 수명 주기 관리 정책이 사용됩니다. 이러한 정책을 통해 표준, Nearline, Coldline, Archive 등 Cloud Storage 클래스에서 사용할 수 있는 완벽한 유연성을 얻을 수 있습니다. Nasuni로 기본 스토리지를 위한 중간 액세스 Archive 클래스 객체 스토리지를 사용함으로써 최대 70%까지 비용을 절약할 수 있습니다.

• 클라우드에서 부서 및 조직 파일 공유. Nasuni의 클라우드 기반 아키텍처는 파일 수, 파일 크기, 스냅샷에 대한 제한 없이Google Cloud 리전에서 단일 전역 네임스페이스를 제공하여, 표준 NAS (SMB) 드라이브 매핑 프로토콜을 통해 데스크탑에서Google Cloud 로 직접 파일을 저장할 수 있게 해줍니다.

• 기본 제공되는 백업 및 재해 복구. Nasuni의 '설정만 하고 잊어버리는' 작업 방식 덕분에 전역 파일 스토리지를 간편하게 관리할 수 있습니다. 백업 및 DR이 포함되어 있으며 단일 관리 콘솔을 통해 언제 어디서나 환경을 감독하고 제어할 수 있습니다.

• 오래된 파일 서버 바꾸기. Nasuni를 사용하면 Microsoft Windows 파일 서버 및 기타 기존 파일 스토리지 시스템을 Google Cloud에 간편하게 마이그레이션하여 이러한 환경의 비용 및 관리 복잡성을 줄일 수 있습니다.

자세한 내용은 다음을 참조하세요.

• Nasuni 둘러보기
• Nasuni 및 Google Cloud 파트너십
• Google Cloud 용 Nasuni Enterprise File Storage 솔루션 요약 (PDF)
• Cloud Marketplace의 Nasuni Cloud 파일 스토리지
• Nasuni 및 Google Cloud 블로그

Sycomp Storage Fueled by IBM Storage Scale

Google Cloud Marketplace에서 제공되는 Sycomp Storage Fueled by IBM Storage Scale을 사용하면 고성능 컴퓨팅(HPC), AI 및 ML, 빅데이터 워크로드를 Google Cloud에서 실행할 수 있습니다. Sycomp Storage를 통해 수천 개의 VM에서 동시에 데이터에 액세스하고, 스토리지 등급을 자동으로 관리하여 비용을 줄이고, 온프레미스 또는 Google Cloud에서 애플리케이션을 실행할 수 있습니다. Sycomp Storage는 신속하게 배포할 수 있으며 NFS 및 IBM Storage Scale 클라이언트를 통해 데이터에 액세스할 수 있도록 지원합니다.

IBM Storage Scale은 대용량 데이터(PB)를 안전하게 관리하는 데 도움이 되는 병렬 파일 시스템입니다. Sycomp Storage Scale은 HPC, AI, ML, 빅 데이터 및 POSIX 호환 공유 파일 시스템이 필요한 기타 애플리케이션에 적합한 병렬 파일 시스템입니다. 적응형 스토리지 용량 및 성능 확장을 통해 Sycomp Storage는 소규모에서 대규모 HPC, AI, ML 워크로드까지 지원할 수 있습니다.

Google Cloud에 클러스터를 배포한 후 이를 사용할 방법을 결정합니다. 기존 온프레미스 IBM Storage Scale 클러스터, 서드 파티 NFS NAS 솔루션, 기타 객체 기반 스토리지 솔루션에 연결하는 등 클라우드 전용 또는 하이브리드 모드로 클러스터를 사용할지 여부를 선택합니다.

참여자

저자: 션 데링턴 | 스토리지 부문 그룹 아웃바운드 제품 관리자

기타 참여자:

• 딘 힐데브랜드 | CTO실 기술 이사
• 저자: 쿠마르 다나고팔 | 크로스 프로덕트 솔루션 개발자