Amazon FSx for Lustre, Amazon EFS (Elastic File System) 가 뭐에요?

1. Amazon FSx for Lustre

Amazon FSx for Lustre는 고성능 컴퓨팅(HPC), 대규모 데이터 처리, 빅데이터 분석 및 ML(기계 학습) 애플리케이션에 적합한 고성능 파일 시스템입니다. Lustre는 주로 대규모 분산 파일 시스템으로 잘 알려져 있으며, AWS에서 관리형 서비스로 제공됩니다. FSx for Lustre는 Lustre 파일 시스템을 설정하고 관리하는 데 필요한 복잡성을 줄여 줍니다.

 

Lustre 스크래치 파일 시스템

• 스크래치 파일 시스템은 일시적인 데이터를 저장하는 데 적합합니다. 예를 들어, 처리 중인 대용량 데이터나 중간 결과를 저장할 때 사용합니다.
• 주로 고속 처리 및 높은 성능을 제공하지만, 내구성과 장기 보관을 보장하지 않습니다.
• 사용 사례: 과학적 계산, 모델 훈련 및 빅데이터 처리에서 일시적으로 필요한 스토리지.

 

Lustre 영구 파일 시스템

• 영구 파일 시스템은 데이터를 장기적으로 저장하고, 높은 내구성을 제공하는 Lustre 파일 시스템입니다. 이 방식은 스크래치 파일 시스템에 비해 높은 내구성을 제공하며, 데이터가 오래 저장될 때 유용합니다.
• 사용 사례: 대규모 데이터 세트를 오랜 기간 저장하면서도 빠른 처리 성능이 필요한 경우.

 

 

 

 

2. Amazon EFS (Elastic File System)

Amazon EFS는 클라우드에서 관리형 파일 시스템으로, EC2 인스턴스와 같은 AWS 리소스와 공유할 수 있는 확장 가능한 파일 스토리지 서비스를 제공합니다. Amazon EFS는 NFS 프로토콜을 지원하여, 여러 EC2 인스턴스가 동시에 파일 시스템에 접근할 수 있도록 합니다.

 

버스팅 처리량 모드

• 버스팅 처리량 모드는 일반적인 사용 패턴에 적합한 모드입니다. 스토리지 사용량에 비례하여 자동으로 처리량을 조정합니다.
• 사용 예시: 중간 정도의 처리량을 필요로 하며, 간헐적인 트래픽이나 변동이 큰 처리량에 적합합니다. 예를 들어, 파일 공유를 하는 시스템에서 일정한 트래픽 패턴을 가지지 않는 애플리케이션에 적합합니다.

 

프로비저닝된 처리량 모드

• 프로비저닝된 처리량 모드는 사용자가 필요한 처리량을 미리 설정하는 모드입니다. 이는 특히 예측 가능한 고성능을 필요로 하는 애플리케이션에 적합합니다. 이 모드는 처리량이 수 GB/s 수준으로, 지속적인 높은 처리량을 요구하는 경우에 유리합니다.
• 사용 예시: 데이터베이스 백업, 대규모 파일 시스템 등 고정된 높은 처리량이 필요한 경우에 적합합니다.

 

 

 

---

 

 

 

비교 요약

 

Amazon FSx for Lustre (스크래치 파일 시스템)	고성능, 일시적인 데이터 저장	고속 데이터 처리 및 일시적인 저장이 필요한 빅데이터, HPC
Amazon FSx for Lustre (영구 파일 시스템)	고성능, 장기 저장 가능	고성능과 내구성이 필요한 대규모 데이터 및 장기 저장
Amazon EFS (버스팅 처리량 모드)	자동 조정 처리량, 비용 효율적	간헐적 또는 변동적인 트래픽 패턴을 가진 일반적인 파일 저장
Amazon EFS (프로비저닝된 처리량 모드)	예측 가능한 고정 처리량, 높은 성능 필요	고정된 높은 처리량이 필요한 애플리케이션(예: 데이터베이스)

 

 

 

 

각 파일 시스템의 선택 기준

 

• Amazon FSx for Lustre는 주로 빅데이터 처리나 고성능 컴퓨팅(HPC), 기계 학습(ML) 및 대규모 데이터 분석에서 사용됩니다. Lustre는 특히 높은 성능과 빠른 데이터 처리가 요구되는 환경에서 탁월합니다.

 

• **Amazon EFS (버스팅 처리량 모드)**는 일반적인 애플리케이션에서 사용하기 적합하며, 비용 효율적이고 간헐적 사용에 좋습니다.

 

• **Amazon EFS (프로비저닝된 처리량 모드)**는 예측 가능한 높은 성능이 필요한 애플리케이션에 적합하며, 지속적으로 높은 처리량이 필요한 워크로드에서 유용합니다.

 

 

 

 

비용

 

• FSx for Lustre와 **EFS (프로비저닝된 처리량 모드)**는 비용이 상대적으로 비쌉니다. 특히 고성능 스토리지와 예측 가능한 처리량을 제공하기 때문에 고정 비용이 발생합니다.

 

• **EFS (버스팅 처리량 모드)**는 소규모 애플리케이션이나 간헐적인 트래픽에 적합하고, 비용 효율적인 선택이 될 수 있습니다.

 

 

 

 

이렇게 각 파일 시스템은 특정 사용 사례에 맞게 설계되었기 때문에, 요구 사항에 맞는 파일 시스템을 선택하는 것이 중요합니다.

 

 

끗!