[AWS] 스토리지(EBS, S3, S3 Glacier, EFS)

🔗 Amazon EBS(Elastic Block Store)

• Amazon EC2 인스턴스와 함께 사용할 수 있는 영구 블록 스토리지 볼륨을 제공(비휘발성 저장소)
• 각 EBS 볼륨은 가용 영역 내에서 자동으로 복제되어 구성 요소 오류로부터 사용자 정보를 보호 → 백업 굿 → 신뢰성 증가
• 높은 가용성과 내구성을 위해 설계
• 프로비저닝한 항목에 대해서만 낮은 가격으로 사용률을 몇분 내에 상향 또는 하향 조절할 수 있음
• EBS를 사용해 개별 스토리지 볼륨을 생성하고 EC2에 이를 연결 가능
• 블록 수준 스토리지를 제공
• 스냅샷을 통해 S3에 자동으로 백업
• 용도
  • EC2용 부팅 볼륨 빛 스토리지
  • 파일 시스템의 데이터 스토리지
  • 데이터베이스 호스트(EC2로 데이터베이스를 실행하는 데 사용)

📍 볼륨

• 스토리지 배열에서 스토리지 공간을 관리하고 구성하는 데이터 컨테이너
• 스토리지 배열에서 사용할 수 있는 스토리지 용량에서 생성되며 시스템 리소스를 쉽게 구성 및 사용 가능
• 이 개념은 컴퓨터에서 폴더 / 디렉토리를 사용하여 쉽고 빠르게 액세스할 수 있도록 파일을 구성하는 것과 비슷
• EBS 볼륨: 디스크

📍 AWS 스토리지 옵션: 블록 스토리지와 객체 스토리지 비교

• 1GB 파일에서 글자 하나를 변경하는 경우
  • 블록 스토리지: 해당 글자가 포함된 블록 하나(파일 일부)를 변경 → 처리속도 / 비용 증가
  • 객체 스토리지: 전체 파일을 업데이트 해야함

→ 이러한 차이는 스토리지 솔루션의 처리량, 대기 시간 및 비용에 큰 영향을 미침

→ 블록 스토리지는 일반적으로 더 빠르고 대역폭을 덜 사용하지만 객체 스토리지보다 더 비용이 많이 듦.

• 블록 스토리지와 객체 스토리지 각각의 장단점이 있음

📍 EBS 볼륨 유형

• 볼륨 유형은 성능 특성과 가격이 다르므로 애플리케이션의 필요에 맞게 스토리지 성능과 비용 조정 가능

• IOPS(Input Output Operations per Second): 초당 입출력 계산 속도
  • HDD, SSD, SAN(Storage Area Network-스토리지와 스토리지를 연결하는 네트워크)같은 컴퓨터 저장 장치를 비교평가 하는데 사용되는 성능 측정 단위
  • EBS 성능을 측정하는 단위
• IOPS vs Throughput(처리량)
  • IOPS: 몇번 가져오는지 → SDD, RDS
  • Throughput: 한 번에 얼마나 가져오는지 → HDD

📍 EBS 기능

• 스냅샷: 특정 시점 스냅샷. 언제든지 새 볼륨을 다시 생성.
• 암호화: 암호화된 EBS 볼륨. 추가 비용 없음.
• 탄력성: 용량 증가. 다른 유형으로 변경

📍 EBS 비용 예측 시 고려 사항

1. 볼륨
   • EBS 볼륨은 인스턴스에 독립적으로 유지
   • 모든 볼륨 유형은 “월별 프로비저닝한 용량”을 기준으로 요금이 부과
2. IOPS
   • 범용 SSD: 스토리지가 해제 될 때까지 월별 프로비저닝한 용량을 기준으로 요금 부과
   • 프로비저닝된 IOPS SSD: IOPS로 프로비저닝한 용량(해당 달에 프로비저닝한 일수의 백분율을 곱한 값)을 기준으로 요금이 부과
   • 마그네틱(콜드 HDD): 볼륨에 대한 요청 수를 기준으로 요금이 부과
3. 스냅 샷
   • S3에 스냅샷에 추가하는 비용은 저장되는 월별 GB 단위의 데이터
4. 데이터 전송
   • 인바운드 데이터 전송은 무료
   • 리전간 아웃바운드 데이터 전송은 요금 발생

---

🔗 Amazon S3(Amazon Simple Storage Service)

• 웹 사이트 및 모바일 앱, 회사 애플리케이션, 사물 인터넷(IoT) 센서 또는 장치의 데이터 등 어디에서나 모든 양의 데이터를 저장하고 검색할 수 있도록 구축된 “객체 스토리지”
• 문서, 사진 등과 같은 “플랫”파일 저장에 적합
• 파일의 일부를 변경하려면 변경한 다음 전체 수정된 파일을 다시 업로드 해야함
• Amazon S3는 데이터를 “버킷”이라고 하는 리소스 내의 객체로 저장
• 객체 스토리지 서비스: 파일의 보관만 가능 cf)블록 스토리지 서비스(EFS, EBS 등)
  • 애플리케이션 설치 불가능
• 글로벌 서비스(단, 데이터는 리전에 저장)
• 무제한 용량: 하나의 객체는 최대 5TB 용량
• 버킷
  • S3의 저장 공간을 구분하는 단위
  • 디렉토리/폴더와 같은 개념
  • 버킷 이름은 전 세계에서 고유 값: 리전에 관계 없이 중복된 이름이 존재 불가능.

📍 AWS S3 개요

• 데이터는 “버킷” 내에 “객체”로 저장 → 버킷에서 객체를 읽고, 쓰고, 삭제 가능
  • 객체: 이미지, 동영상 또는 서버 로그 등 거의 모든 데이터 파일
• 사실상 무제한의 스토리지 ← 단일 객체는 5TB로 제한
• 99.9999999%의 내구성을 보장하도록 설계 ← 최소 3개의 AZ에 데이터를 분산 저장(Standard의 경우) → 신뢰성 증가
• 버킷 및 객체에 대한 “세분화된 액세스”

📍 Amazon S3 스토리지 클래스

• Amazon S3는 여러 사용 사례에 맞게 설계된 다양한 객체 수준 스토리지 클래스를 제공
• Amazon S3 Standard ← 일반적인 경우
  • 최소 3개 이상의 AZ에 분산 보관
  • 최소 보관 기간 없음. 최소 보관 용량 없음.
  • 파일 요청 비용 없음(전송 비용은 발생)
• Amazon S3 Standard-Infrequent Access
  • 자주 사용되지 않는 데이터를 저렴한 가격에 보관
  • 최소 3개 이상의 AZ에 분산 보관
  • 최소 저장 용량: 128KB, 최소 저장 기간: 30일
  • 데이터 요청 비용 발생: 데이터를 불러올 때마다 비용 지불(per GB)
  • 사용 사례: 자주 사용하지 않는 파일 중 중요한 파일
• Amazon S3 One Zone-Infrequent Access
  • 자주 사용되지 않고, 중요하지 않은 데이터를 저렴한 가격에 보관
  • 단 한개의 AZ에만 보관
  • 최소 저장 용량 : 128KB, 최소 저장 기간: 30일
  • 데이터 요청 비용 발생: 데이터를 불러올 때마다 비용 지불(per GB)
  • 사용 사례: 자주 사용하지도 않고 쉽게 복구할 수 있는 파일(예: 오래된 썸네일)
• 대표적으로 3개가 있는 것이지 더 많은 S3 스토리지 클래스가 존재

📍 Amazon S3 버킷 URLs(두가지 스타일)

• 1. AWS 리전에 버킷을 생성(내가 저장할 것을 담을 그릇 생성)
  2. 원하는 만큼 객체를 버킷에 업로드데이터를 업로드 하려면

📍 데이터가 리전에 중복으로 저장

• 버킷을 생성하면 버킷이 특정 AWS 리전과 연결
• 버킷에 데이터를 저장하면 선택한 리전 내의 여러 AWS 기능에 중복으로 저장 → 즉, 2개의 시설에서 손실이 발생하더라도 데이터를 보존 가능

📍 원활한 확장을 고려한 설계

• 데이터가 증가하는 동안 버킷의 스토리지를 자동으로 관리 → 스토리지 또는 처리량을 프로비저닝할 필요 없음 → 사용자의 부담 감소

📍 어디에서나 데이터에 액세스 가능

*SDK(Software Development Kit)

📍 S3 일반 시나리오

• 백업 및 스토리지 서비스
• 애플리케이션 호스팅
• 미디어 호스팅
• 소프트웨어 전송

📍 S3 요금

• 다음 내용에 대해 사용한 만큼만 지불
  • 월별 GB
  • 다른 리전으로 송신
  • PUT, COPY, POST, LIST 및 GET 요청
• 다음에 대해서는 비용을 지불하지 않음
  • S3로 수신
  • S3에서 같은 리전의 Amazon CloudFront 또는 EC2로 송신

📍 S3 요금 고려 사항

1. 스토리지 클래스 유형
   • S3 Standard는 다음을 보장하도록 설계
     • 99.999999999%의 내구성
     • 99.99%의 가용성
   • S3 Standard-Infrequent Access는 다음을 보장하도록 설계
     • 99.999999999%의 내구성
     • 99.9%의 가용성
2. 스토리지 용량: 객체의 수와 크기
3. 요청
   • 요청 수 및 유형(GET, PUT, COPY)
   • 요청 유형: GET 요청과 다른 요청은 요금이 다름
4. 데이터 전송: 요금은 S3 리전에서 전송된 “데이터의 양”에 따라 부과
   • 데이터의 수신은 무료이지만 전송된 데이터에 대해서는 요금이 발생 ← 거의 모든 서비스에 해당되는 것.

---

🔗 Amazon EFS(Elastic File System)

• 간단하고 확장 가능한 탄력적인 파일 스토리지를 제공
• 파일 시스템을 빠르고 쉽게 만들고 구성할 수 있는 간단한 인터페이스를 제공
• 파일을 추가하거나 제거할 때 자동으로 확장 및 축소

📍 EFS 참고

• 클라우드 파일 스토리지: 공유 파일 시스템을 통해 서버와 어플리케이션에 데이터에 대한 액세스를 제공하도록 클라우드에 데이터를 저장하는 방법
• 클라우드 파일 시스템: 파일 데이터에 대한 공유 액세스를 제공하는 클라우드의 계층적 스토리지 시스템
• 네트워크 파일 시스템(NFS): 클라이언트 컴퓨터의 사용자가 네트워크 상의 파일을 직접 연결된 스토리지에 접근하는 방식과 비슷한 방식으로 접근하도록 도와주는 시스템

📍 EFS 기능

• AWS Cloud의 파일 스토리지
• 빅데이터 및 분석, 미디어 처리 워크플로, 콘텐츠 관리, 웹 서비스 및 홈 디렉터리에 적합
• 페타바이트(2^15) 규모의 지연 시간이 짧은 파일 시스템
• 공유 스토리지
• 탄력적 용량
• Network File System(NFS) 버전 4.0 및 4.1(NFSv4) 지원
• 모든 Amazon EC2 용 Linux 기반 AMI와 호환

📍 EFS 아키텍처

📍 EFS의 구현

1. EC2 리소스를 생성하고 EC2 인스턴스를 시작
2. EFS 파일 시스템 생성
3. 적절한 서브넷에 탑재 대상을 생성
4. EC2 인스턴스를 탑재 대상에 연결
5. AWS 계정의 리소스 및 보호 상태를 확인

📍 EFS 리소스

• 파일 시스템의 탑재 대상
  • 서브넷 ID
  • 보안 그룹
  • 파일 시스템당 하나 이상
  • VPC 서브넷에서 생성
  • 가용영역당 하나
  • 동일한 VPC에 있어야함
• 태그: 키-값 페어

---

🔗Amazon S3 Glacier

• “보안, 내구성 및 매우 저렴한 비용”을 제공하도록 설계된 “데이터 아카이빙 서비스”
  • 데이터 아카이빙: 현재 운영 시스템 및 데이터베이스에서 사용 빈도가 낮은 데이터를 확인하여 장기간 저장 가능한 스토리지 시스템으로 옮기는 프로세스
• S3 Glacier는 객체에 대해 99.999999999%의 내구성을 보장하도록 설계
• Secure Sockets Layer(SSL) 또는 Transport Layer Security(TLS)를 통해 전송중인 데이터와 저장된 “데이터의 암호화”를 지원
• 볼트(=아카이브를 저장하는 컨테이너) 잠금 기능은 정책을 통해 규정 준수를 보장
• 매우 저렴한 비용으로 설계되어 장기 아카이브에 적합: 아카이브에 액세스 하기 위한 검색 시간을 몇분에서 몇시간까지 다양한 3가지 옵션(신속, 표준, 대량)으로 제공
  • 검색 옵션
    • 표준: 3-5 hours
    • 대량: 5-12 hours
    • 신속: 1-5 minutes

📍 S3 Glacier 사용 사례

• 미디어 자산 아카이빙
• 의료 정보 아카이빙
• 규제 및 규정 준수를 위한 아카이빙
• 과학 데이터 아카이빙
• 디지털 보존
• 마그네틱 테이프 대체
• RESTful 웹 서비스
• Java 또는 .NET SDKs
• 수명 주기 정책을 사용하는 Amazon S3

📍 수명 주기 정책

• Amazon S3 수명 주기 정책 enable을 사용하면 생성 후 기간을 기준으로 객체를 삭제 또는 이동할 수 있음.

📍 Amazon S3 vs Amazon S3 Glacier

📍 서버 측 암호화

📍 S3 Glacier을 사용하는 보안

• IAM으로 액세스 제어
• AES-256을 사용하여 데이터 암호화
• 자동으로 키 관리

---

🔗 EBS와 S3 총정리

📍 EBS 정리

• EC2가 연산(CPU, 메모리)의 역할을 한다면, EBS는 SSD, HDD와 같이 데이터를 저장하는 역할 → 서버 EC2의 하드디스크 역할
• S3와 달리 블록 스토리지
• EC2 인스턴스가 종료되어도 별개로 작동하여 유지 가능
• EC2 인스턴스 입장에서 여러 개의 EBS를 붙일 수 있다. 즉 하나의 컴퓨터에 HDD, SSD를 여러개 부착하는 것 과 같은 원리. 반대로 하나의 EBS에 여러 EC2를 활용 가능. ← 여러 컴퓨터가 하나의 하드를 공용 저장소로 사용하는 원리

📍 S3

• 스토리지이지만, EC2와 다르게 객체 스토리지 서비스 → 구글드라이브처럼 파일 저장 서비스이며 데이터를 객체 형태로 저장
• 저장할 수 있는 양이 무한에 가까운데 비용은 저렴하고, 탄력적이기 때문에 스토리지 확장 및 축소에 많은 신경을 기울이지 않아도 됨.
• 빈번한 업데이트가 없는 파일을 저렴한 가격으로 저장할 때 용이. OS나 DB처럼 빠르고 많은 Read/Write 작업이 요구될 때는 적절X
• EC2와 EBS로 구축하는 것보다 훨씬 저렴, 오토스케일링이나 로드밸런싱을 신경쓰지 않아도 됨.
• S3 자체로 정적 웹서비스 가능
• 동적 웹페이지와 정적 웹페이지가 섞여있을 때 동적 웹페이지만 EC2로 서비스하고, 정적 영역은 S3로 활용하면 성능 높이고 비용 절감이 가능.

---

🔗 Object Storage(S3) vs Block Storage(EBS)