PySpark(파이스파크)의 AWS Glue(글루) ETL 란?

AWS Glue(글루) 란?

https://d2908q01vomqb2.cloudfront.net/b6692ea5df920cad691c20319a6fffd7a4a766b8/2022/05/24/Blogimage-1024x896.png

 

AWS Glue는 데이터를 추출, 변환, 로드(ETL)하기 위한 완전 관리형 서비스입니다.

Glue를 사용하면 데이터 웨어하우스, 데이터 레이크, 분석용 데이터베이스 등 다양한 데이터 저장소 간에 데이터를 이동하고 변환할 수 있습니다.

 

PySpark 란?

Glue의 PySpark는 Python API인 PySpark를 사용하여 데이터 변환 작업을 수행하는 기능을 의미합니다.

PySpark는 Apache Spark의 Python API로, 분산형 데이터 처리 및 분석을 위한 강력한 도구입니다.

Glue의 PySpark를 사용하면 Python을 사용하여 데이터 처리 작업을 구현할 수 있습니다.

 

Glue의 PySpark 주요 기능

1. 데이터 추출(Extract):
   • Glue의 PySpark를 사용하면 다양한 데이터 소스에서 데이터를 추출할 수 있습니다.
   • 예를 들어, Amazon S3, RDS, Redshift, DynamoDB 등의 AWS 서비스 및 JDBC 호환 데이터베이스 등에서 데이터를 추출할 수 있습니다.
2. 데이터 변환(Transform):
   • PySpark를 사용하여 데이터 변환 작업을 수행할 수 있습니다. PySpark는 강력한 데이터 처리 및 분석 라이브러리를 제공하며, 데이터를 필터링하고 변환하며, 집계 및 분석 작업을 수행할 수 있습니다.
3. 데이터 로드(Load):
   • Glue의 PySpark를 사용하여 변환된 데이터를 다양한 형식으로 저장할 수 있습니다.
   • 예를 들어, Amazon S3에 데이터를 저장하거나, Redshift, RDS 등의 데이터를 로드할 수 있습니다.
4. 스케줄링 및 자동화:
   • Glue의 PySpark를 사용하여 ETL 작업을 스케줄링하고 자동화할 수 있습니다. 이를 통해 주기적으로 데이터를 추출, 변환, 로드하여 데이터 흐름을 자동화할 수 있습니다.

 

데이터 분석 작업 종류

• 집계 및 그룹화:
  • 데이터를 그룹화하고 집계하여 요약 통계를 생성할 수 있습니다.
  • 예를 들어, 특정 기간 동안의 매출을 합산하거나, 지역별 고객 수를 집계할 수 있습니다.
• 정렬 및 필터링:
  • 데이터를 정렬하거나 특정 조건에 따라 필터링하여 원하는 데이터를 추출할 수 있습니다.
  • 예를 들어, 특정 가격 범위 내의 제품을 찾거나, 특정 날짜 이후의 주문을 필터링할 수 있습니다.
• 데이터 결합:
  • 여러 데이터 소스를 결합하고 조인하여 더 복잡한 분석을 수행할 수 있습니다.
  • 예를 들어, 고객 정보와 주문 정보를 결합하여 고객별 매출을 분석할 수 있습니다.
• 시계열 분석:
  • 여러 데이터 소스를 결합하고 조인하여 더 복잡한 분석을 수행할 수 있습니다.
  • 예를 들어, 고객 정보와 주문 정보를 결합하여 고객별 매출을 분석할 수 있습니다.
• 머신 러닝 및 예측:
  • PySpark를 사용하여 머신 러닝 모델을 구축하고 데이터에 대한 예측을 수행할 수 있습니다.
  • 예를 들어, 고객의 구매 이력을 기반으로 다음에 제품을 예측할 수 있습니다.
• 텍스트 분석:
  • 텍스트 데이터를 분석하여 주요 단어 빈도, 감성 분석, 주제 모델링 등을 수행할 수 있습니다.
  • 예를 들어, 고객 리뷰 데이터를 분석하여 제품에 대한 긍정적 또는 부정적인 피드백을 확인할 수 있습니다.
• 그래프 분석:
  • 그래프 데이터를 분석하여 네트워크 구조, 중심성 지표, 커뮤니티 감지 등을 수행할 수 있습니다.
  • 예를 들어, 소셜 네트워크에서 사용자 간의 관계를 분석하고 중요한 영향력 있는 사용자를 식별할 수 있습니다.

 

728x90

 

Glue의 PySpark 사용 예시

• 데이터 변환:
  • PySpark를 사용하여 JSON 형식의 데이터를 읽어들여서 필요한 형식으로 변환할 수 있습니다.
  • 예를 들어, 데이터를 필터링하거나 집계하여 분석에 활용할 수 있습니다.
• 다중 데이터 소스 간의 데이터 이동:
  • Glue의 PySpark를 사용하여 다양한 데이터 소스 간에 데이터를 이동할 수 있습니다.
  • 예를 들어, RDS에서 데이터를 추출하여 변환한 후에 Amazon S3에 저장할 수 있습니다.
• 데이터 집계 및 분석:
  • PySpark를 사용하여 데이터를 집계하고 분석할 수 있습니다.
  • 예를 들어, 로그 데이터에서 사용자의 행동 패턴을 분석하거나, 판매 데이터에서 매출을 집계할 수 있습니다.

 

Glue의 PySpark 코드 사용 예시

가정:

판대 데이터를 처리하고 분석해야 한다고 가정합니다. 이 데이터는 CSV 파일 형식으로 Amazon S3에 저장되어 있습니다 .우리의 목표는 이 데이터를 읽어 들여서 매출을 계산하고, 특정 기간 동안의 매출 통계를 생성하는 것입니다.

 

1. 데이터 읽기:

• 먼저, PySpark를 사용하여 Amazon S3에 저장된 CSV 파일을 읽어 들입니다.

from pyspark.context import SparkContext
from awsglue.context import GlueContext
from pyspark.sql import SparkSession

sc = SparkContext()
glueContext = GlueContext(sc)
spark = glueContext.spark_session

# S3에 저장된 CSV 파일을 읽어 들입니다.
sales_data = spark.read.format("csv") \
    .option("header", "true") \
    .load("s3://bucket_name/path/to/sales_data.csv")

 

2. 데이터 변환:

• 다음으로 데이터를 필터링하고 필요한 형식으로 변환합니다. 여기서는 날짜 범위 내의 데이터만 선택하고, 매출을 계산합니다.

from pyspark.sql.functions import col, sum

# 날짜 범위 내의 데이터 필터링
filtered_data = sales_data.filter((col("date") >= "2023-01-01") & (col("date") <= "2023-12-31"))

# 매출 계산
total_sales = filtered_data.select(sum(col("sales_amount")).alias("total_sales"))

 

3. 결과 저장:

• 마지막으로, 계산된 결과를 원하는 형식으로 저장합니다. 여기서는 새로운 CSV 파일을로 저장합니다.

# 계산된 결과를 CSV 파일로 저장
total_sales.write.format("csv").mode("overwrite").save("s3://bucket_name/path/to/total_sales_result")

 

이렇게 하면 Glue의 PySpark를 사용하여 데이터를 읽고 변환하고 저장하는 간단한 예시를 살펴볼 수 있습니다.

이러한 작업은 데이터 처리 및 분석을 자동화하고 효율적으로 관리하기 위해 일반적으로 사용됩니다.