본문 바로가기

728x90

🚀 Development/AWS(Amazon Web Services)5

PySpark(파이스파크)의 AWS Glue(글루) ETL 란? AWS Glue(글루) 란? AWS Glue는 데이터를 추출, 변환, 로드(ETL)하기 위한 완전 관리형 서비스입니다. Glue를 사용하면 데이터 웨어하우스, 데이터 레이크, 분석용 데이터베이스 등 다양한 데이터 저장소 간에 데이터를 이동하고 변환할 수 있습니다. PySpark 란? Glue의 PySpark는 Python API인 PySpark를 사용하여 데이터 변환 작업을 수행하는 기능을 의미합니다. PySpark는 Apache Spark의 Python API로, 분산형 데이터 처리 및 분석을 위한 강력한 도구입니다. Glue의 PySpark를 사용하면 Python을 사용하여 데이터 처리 작업을 구현할 수 있습니다. Glue의 PySpark 주요 기능 데이터 추출(Extract): Glue의 PySpa.. 2024. 2. 19.

[AWS] IAM 이란? IAM 이란? AWS IAM은 AWS Identity and Access Management의 약자로, AWS 계정 내에서 리소스에 대한 접근 권한을 관리하는 서비스입니다. 이 서비스를 통해 사용자들은 AWS 리소스에 대한 접근을 제어하고, 보안을 강화하며, 리소스 사용을 모니터링할 수 있습니다. IAM이 제공하는 기능 IAM은 AWS 리소스에 대한 접근을 관리하고 보안을 강화하는데 중요한 역할을 합니다. 적절한 권한을 설정하고 사용자의 역할을 관리함으로써 데이터 유출 및 보안 위협을 방지할 수 있습니다. 사용자(User): AWS 계정에 액세스할 수 있는 개별 사용자입니다. 각 사용자는 고유한 자격 증명을 가지고 있으며, IAM을 통해 그들의 권한과 규칙을 관리할 수 있습니다. 그룹(Group): 그룹.. 2024. 2. 19.

[AWS] Pyhton boto3 라이브러리 사용 boto3 란? boto3는 파이썬에서 Amazon Web Services(AWS)를 사용하기 위한 공식 SDK(소프트웨어 개발 키트)입니다. 이를 통해 AWS의 다양한 서비스를 관리하고 제어할 수 있습니다. 주로 클라우드 서비스를 프로그래밍 방식으로 다루는 데에 사용됩니다. boto3를 사용하면 EC2 인스턴스 생성, S3 버킷 관리, DynamoDB 테이블 조작, Lambda 함수 배포 등을 할 수 있습니다. boto3 설치하기 먼저 boto3를 설치해야 합니다. 일반적으로 pip를 사용하여 설치합니다. pip install boto3 사용법 예시 아래 예시는 S3 버킷을 만들고 목록을 나열하는 간단한 boto3 사용법입니다. import boto3 # AWS 인증 설정 s3 = boto3.resou.. 2024. 2. 16.

[AWS] Redshift 란? Redshift 란? Amazon Redshift는 클라우드에서 완벽하게 관리되는 페타바이트급 데이터 웨어하우스 서비스입니다. 대규모의 데이터를 신속하게 분석하고 쿼리(데이터베이스에 정보를 요청하는 일)할 수 있도록 설계된 데이터베이스입니다. 아마존 웹 서비스(AWS)에서 제공되며, 고성능의 컴퓨팅 리소스를 사용하여 대용량 데이터를 처리할 수 있습니다. Redshift 특징 Amazon Redshift는 뛰어난 확장성과 성능을 제공하여 대용량의 데이터를 다루는 비즈니스 분석 및 데이터 웨어하우스 용도로 많이 사용됩니다. 대규모 데이터 처리와 분석을 위한 강력하면서도 사용자 친화적인 서비스로, 비즈니스 분석 및 데이터 웨어하우스 요구 사항을 충족하는 데 많이 사용됩니다. 클러스터 (Cluster): Red.. 2024. 1. 19.

이전 1 2 다음

728x90

티스토리툴바