IT/AWS 검색 결과
15 개의 검색 결과가 있습니다.
IT/AWS

[AWS] AWS Glue 정리

AWS Glue는 데이터 ETL(Extract, Transform, Load) 를 위한 서버리스 데이터 통합 서비스다. 1. AWS GlueAWS Glue는 서버리스 데이터 통합 서비스라고 나오는데, 주요 기능으로 AWS Glue Studio와 데이터 카탈로그, 크롤러, 워크플로우 등이 있다. 2. AWS Glue 크롤러(AWS Glue Crawler)AWS Glue에서 제공하는 크롤러의 경우, DB에 직접 붙어서 DB 또는 스키마를 직접 가져와서 데이터 카탈로그, DB, 테이블 등을 자동으로 생성할 수 있다. 크롤러의 경우에는 생성하기 전에 Connection을 생성해야 한다. 3. AWS Glue Data CatalogAWS Glue의 Data Catalog의 경우에는 수동으로 생성할 때 많이 사용을..

2024. 10. 28.
IT/AWS

[AWS] AWS SageMaker boto3로 s3 Buckets List 가져오기

AWS SageMaker에서 AI 모델을 학습하기 위해 데이터를 AWS S3에 저장을 해놨다. 그래서, SageMaker에서 주피터노트북을 사용하는데, 여기서 S3에 있는 데이터를 가져오기 위해 boto3라는 라이브러리를 사용한다. 이 글은 AWS SageMaker에서 s3 Buckets List를 가져오는 방법이다. 1. AWS S3 Bucket List 조회하는 방법# 라이브러리 importimport boto3s3 = boto3.client("s3")s3_buckets = s3.list_buckets() for bucket in s3_buckets['Buckets']: print(f"bucket name : {bucket['Name']}")

2024. 5. 28.
IT/AWS

[AWS] AWS 글로벌 인프라 구조 - 가용 영역(AZ, Availability Zone)

AWS 글로벌 인프라 구조의 4가지 요소인 리전(Region), 가용영역(AZ, Availability Zone), 엣지 로케이션(Edge Location), 리전 엣지 캐시(Region Edge Cache) 중 이번에는 가용영역(AZ, Availability Zone)에 대해 정리를 한다. AWS AZ 위치 일단, AWS 서울 데이터센터 AZ 위치는 구글링을 한 결과, 오피셜은 아니지만 아래에 되어 있다고 한다. 오피셜은 아니니 참고만 하면 된다. KT 목동 IDC SK 브로드밴드 일산 IDC 롯데정보통신/현대정보기술 용인센터 LG 유플러스 평촌메가센터 Digital Realty ICN10 데이터 센터(상암) -> AZ는 아니지만 Direct Connect 지점 AWS AZ 특징 앞서, AWS 글로벌 ..

2024. 3. 14.
IT/AWS

[AWS] AWS 글로벌 인프라 구조 - Region

AWS 글로벌 인프라 구조는 리전(Region), 가용영역(AZ, Availability Zone), 엣지 로케이션(Edge Location), 리전 엣지 캐시(Region Edge Cache)로 총 4가지 요소로 구성된다. 1. 리전(Region) AWS에서 리전은 전 세계에 데이터 센터를 클러스터링하는 물리적 위치를 말한다. 즉, AWS 서비스들이 특정 국가/도시에 물리적인 서버가 설치되어 있는 곳을 말한다. 현재 AWS에서 전 세계적으로 리전이 설치되어 있는 곳은 아래와 같다. (2024년 03월 14일 기준) AWS 리전 지역 북미 : 8개 남아메리카 1개 유럽 8개 (1개 신설 예정) 중동 3개 아프리카 1개 아시아 태평양 9개 (2개 신설 예정) 오스트레일리아 및 뉴질랜드 2개 (1개 신설 예..

2024. 3. 14.
IT/AWS

[AWS] an error occurred AccessDeniedException when calling the GetCommit operation 에러 문제 해결 방법

팀즈(Teams)에서 AWS 코드커밋(CodeCommit)에 커밋을 할 때마다 팀즈 채널에 알림이 오도록 설정하는 와중에 an error occurred AccessDeniedException when calling the GetCommit operation 에러가 발생했다. 에러 원문 An error occurred (AccessDeniedException) when calling the GetCommit operation: User: arn:aws:sts::ID:assumed-role/CommitAlert-role-o1yetkui/CommitAlert is not authorized to perform: codecommit:GetCommit on resource: arn:aws:codecommit:a..

2024. 3. 7.
IT/AWS

[AWS] AWS Default VPC 삭제 방법

AWS에서 기본적으로 계쩡을 생성하고 VPC를 보면 Default VPC가 있다. 추가적인 VPC 생성 후에 이 Default VPC가 별로 보기가 싫어서 삭제하기로 했다. 여기서 Default VPC의 CIDR 영역은 172.31.0.0/16으로 설정이 된다. Default VPC 삭제 방법 1. AWS Console에서 VPC 서비스 들어간다. 2. Default VPC를 선택 후, 우측 상단에 [작업] - [VPC 삭제]를 누른다. 기본적으로, DEfault VPC의 경우 Name이 "-"으로 표현이 된다. 3. Default VPC를 삭제할 때, NAT Gateway를 사용하고 있으면 삭제해야 Default VPC를 삭제할 수 있다. 예전에는 이거 직접 가서 인터페이스 삭제하고 하는 것을 한 방에..

2024. 3. 4.