안녕하세요 우당탕탕 개발일지 입니다. 인프라 직군으로 가고 싶어서 자격증 준비중입니다.
인프런 코드 바나나님의 강의를 들으면서 정리한 내용입니다. 실습 내용은 포함되지 않았으니 구매해서 보시는거 추천 드립니다! 강의 구배시 pdf도 제공해주십니다.
1. S3 개요
https://docs.aws.amazon.com/ko_kr/AmazonS3/latest/userguide/Welcome.html
Amazon S3란 무엇인가요? - Amazon Simple Storage Service
Amazon S3란 무엇인가요? Amazon Simple Storage Service(Amazon S3)는 업계 최고의 확장성, 데이터 가용성, 보안 및 성능을 제공하는 객체 스토리지 서비스입니다. 모든 규모와 업종의 고객은 Amazon S3를 사용하
docs.aws.amazon.com
1-1.데이터 저장 방식
1. 오브젝트 스토리지
: 오브젝트라고 불리는 개별 유닛에 데이터를 저장하는 스토리지 포맷 (폴더 구조 X)
: 분산 시스템 내 어디에 저장되어 있든지 상관 없이 데이터를 찾을 수 있음.
ex) Amazon S3
2. 블록 스토리지
: 데이터를 고정된 사이즈의 블록으로 나누어 각각 고유한 식별자와 함께 저장하는 방식
: 데이터 조각을 원하는 곳에 배치 가능 (예 : 일부는 window, 일부는 리눅스 )
ex) Amazon EBS
3. 파일 스토리지
: 데이터는 계층적 파일 디렉터리 내의 폴더에서 파일로 저장
: 검색할때는 경로를 알아야 함.
ex) Amazon EFS, Amazon FSx
1-2 S3 개요
: 거의 무제한 저장용량을 제공하는 객체 스토리지 서비스
: 고유 키와 메타데이터를 가진 독립적인 객체로 데이터를 저장하는 객체 스토리지
: 대부분의 경우 최소 3개의 가용영역에 데이터를 자동으로 분산 저장하기에 성능, 확장성, 가용성, 내구성이 높음.
ex) 백업 및 복원/ 재해 복구 / 아카이브/ 클라우드 스토리지 / 정적 웹 사이트 호스팅
** 아카이브(Archive) : 장기 보존 및 활용이 목적이며 원본 삭제 여부와 무관하게 중요한 자료를 관리함.
** 백업 (Backup) : 데이터 복구가 목적이며 원본 삭제 여부와 상관 없이 단기, 장기보관
| 버킷 (Bucket) | 객체 (Object) |
| 오브젝트 저장공간 | 오브젝트 (파일) |
| 리전 단위로 생성 | 개별 오브젝트 최대 사이즈는 : 5TB |
| 이름이 유니크 해야함. | - |
2. S3 버전 관리
: 객체를 여러 버전으로 보존하는 기능.
: 동일한 파일 이름을 업로드 하면 여러 버전으로 저장됨. (버전1, 버전2...)
→ 버전 관리 + MFA Delete를 조합하여 더 강력한 삭제 방지 구현
S3 버전 관리 이점 ) 실수로 객체를 덮어쓰거나 삭제했을 때 이전 상태로 복구할 수 있다.
속성 > 버킷 버전 관리 > 버전 표시 > ID :null (버전이 없는 상태)
3. S3 데이터 암호화
: 데이터를 전송 중에 그리고 스토리지에 저장된 동안 보호하기 위해 암호화 사용.
| 클라이언트 | SSL/TLS 암호화 (HTTPS 데이터 전송) | 서버 |
3-1 서버 측 암호화
: 데이터가 서버에 저장되기 전 객체를 암호화 하는 방식
- SSE-S3 : S3에서 관리하는 암호화
- SSE-KMS, DSSE-KMS : aws KMS에서 관리하는 암호와 ( 키를 자동으로 교체,감시 가능)
- SSE-C : 고객이 관리하는 암호화
3-2 클라이언트 측 암호화
: 데이터를 전송하기 전에 클라이언트 사이트에서 암호화
3-3 전송 중 암호화
: 전송 보안 프로토콜 SSL/ TLS를 이용해 데이터를 암호화
: HTTPS라는 보안 프로토콜을 이용해 암호화.
4. S3 액세스 관리
4-1 버킷 정책
- S3 버킥 액세스 제어
- Json 형식
- 조건에 따라 버킷에 액세스를 부여하고 제한하는 기능으로 사용.
- S3 버킷에 대한 전반적인 접근 권한을 설정하고 관리할 때 일반적으로 가장 권장되는 방법
4-2 퍼블릭 액세스 차단 (버킷 설정 )
- 버킷과 객체에 대한 퍼블릭 액세스를 차단하거나 허용.
- 데이터 보호를 위해 기본적으로 퍼블릭 액세스를 차단
4-3 ACL(액세스 제어 목록)
- AWS 계정에 버킷이나 객체에 대한 읽기/쓰기 권한을 부여하는 기능.
- 버킷레벨or 객체레벌 에서 ACL을 적용
- !! 개별적으로 액세스하는 경우 제외하면 비활성화 권장!!
**ACL : 특정 프로세스가 자원에 대한 권한을 정의하는 규칙.
5. S3 스토리지 클래스
▶S3에 데이터를 저장할 때 스토리지 클래스를 선택할 수 있음.
**IA (infreauent Access) : 클라우드 컴퓨팅에서 사용되는 데이터 스토리지 계층.
5-1 S3 Standard(범용)
짧은 지연 시간과 많은 처리량을 제공
일반적인 용도의 다양한 사용사례에 적합.
5-2 S3 Intelligent - Tiering (액세스 패턴을 알 수 없거나 예측할 수 없는 데이터 용)
: 액세스 패턴을 모니터링하고, 액세스하지 않은 객체를 저렴한 액세스 계층으로 자동으로 이동
- S3 Intelligent-Tiering 에 업로드하거나 이전한 객체는 Frequent Access 계층으로 자동으로 저장
- 30일 연속 액세스 되지 않는 객체는 Infrequent Access계층으로 이동
- 90일 연속 액세스 되지 않은 객체는 Archive Access 계층으로 이동
- 180일 연속 액세스 되지 않은 객체를 Deep Archive Access 계층으로 이동
→비용 절감 목적
→ 데이터 접근 빈도에 따라 자동으로 가장 비용 효율적인 스토리지 티어로 데이터를 이동시켜 비용을 최적화하는 S3 스토리지 클래스
5-3 S3 Standard IA(빈번하지 않은 액세스용)
자주 액세스하지 않지만 필요할 떄 빠르게 액세스해야 하는 데이터에 적합.
최소 과금 기간 30일 ( ex 3일 사용해도 30일 요금 부과)
1개월 또는 2개월에 한번 액섹스하고 1개월 이상 보존하는 데이터에 적합.
5-4 One Zone-IA (빈번하지 않은 액세스 용 )
: 하나의 가용 영역에 저장
차별점 !! 단일 AZ에 데이터 저장
(다른 스토리지 클래스는 최소 3개의 가용영역을 사용)
5-5 S3 Glacier Instant Retrieval (아카이브용)
- 저렴한 비용으로 장기 보관하는 백업 용도.
- 분기에 한번 액세스 하는 데이터
- 검색 시간 : 밀리초 내에 즉시 검색.
- 최소 과금 기간 : 90일
5-6 S3 Glacier Flexible Retrieval / 이전 명칭 S3 Glacier (아카이브용)
- 저렴한 비용으로 장기 보관하는 백업 용도
- 일년에 한번 액세스하는 오래된 아카이브 데이터 용도
- 검색 시간 : 몇분 내지 몇시간의 검색 시간 소요 (검색 옵션 : 신속 1-5분, 표준 3-5시간, 대량 5-12시간)
- 최소 과금 기간 : 90일
5-7 S3 Glacier Deep Archive (아카이브용)
- 가장 저렴한 비용의 스토리지 클래스
- 일년에 한번 미만으로 액세스하는 오래된 아카이브 데이터 용도
- 7-10년 이상 데이터를 장기 보관하는 용도
- 검색 시간 : 몇시간 (12시간 ~48시간)
6. S3 수명 주기 정책
: 객체가 저장되어 삭제 될때까지의 수명주기를 비용 효율적으로 저장되도록 관리하는 기능.
: 버전 관리가 활성화 되어 있을 경우 객체의 버전 별로 수명 주기 정책을 적용할 수 있음.
Amazon S3 Storage Class Analysis (스토리지 클래스 분석)
: 데이터 액세스 패턴을 관찰해 자주 액세스하지 않는 Standard 스토리지를 Standard_IA 스토리지로 옮길 시점을 알려줌.
7. S3 전송 성능 향상
S3의 전송 성능을 향상 시킬 수 있는 기능들이 있음.
7-1 ) S3 Transfer Acceleration (S3 전송 가속화)
• 클라이언트와 S3 버킷 간의 장거리 파일 전송을 파일을 빠르고 쉽고 안전하게 전송하는 기능
• 전 세계에 분산된 엣지 로케이션을 활용하여 최적화된 네트워크 경로를 통해 Amazon S3로 라우팅
• 사용사례
✓ 전 세계 각지에서 중앙의 버킷으로 업로드하는 고객이 있는 경우
✓ 전 세계에 정기적으로 수 기가바이트에서 수 테라바이트의 데이터를 전송할 경우
✓ Amazon S3에 업로드할 때 인터넷을 통해 사용 가능한 대역폭을 충분히 활용할 수 없는 경우