Glue ETL
서버리스 ETL과 데이터 카탈로그
이게 뭔가요? / What is this?
Glue는 서버 클러스터가 아니라, 데이터가 어떤 모양인지 자동으로 파악해 목록을 만들고, 필요하면 형식까지 변환해 주는 서버리스 ETL·카탈로그 서비스입니다. 창고에 쌓인 상자들을 하나하나 열어 내용물을 목록으로 정리하고 필요하면 포장까지 다시 해주는 자동 사서라고 생각하면 됩니다.
개요 / Overview
Glue는 데이터 소스를 크롤링해 스키마를 카탈로그에 등록하고, 서버리스 Spark로 변환 작업을 실행합니다. Athena·Redshift Spectrum이 참조하는 메타데이터 저장소 역할도 합니다.
동작 원리 / How it works
Glue는 세 부분입니다. 크롤러는 S3·JDBC 소스를 훑어 스키마를 추론하고 데이터 카탈로그에 테이블로 등록합니다. 카탈로그는 Athena·Redshift Spectrum·EMR이 공유하는 메타데이터 저장소입니다. ETL 작업은 서버리스 Spark에서 변환 스크립트를 실행하며 워커 수만 지정하면 클러스터 관리가 없습니다.
크롤러가 만든 테이블 덕분에 Athena가 즉시 질의할 수 있다는 연결이 시험에서 자주 쓰입니다 — "스키마를 자동 발견해 SQL로 조회"가 그 신호입니다.
시험은 무엇을 보는가 / What the exam is testing
시험은 Glue를 "클러스터 없는 ETL"과 "카탈로그"로 나눠 묻습니다. EMR과의 갈림길은 Spark·Hadoop을 세밀히 통제할 필요가 있는지이며, 운영 부담 최소화 조건이면 Glue입니다.
시험 포인트 / Exam points
크롤러가 S3를 훑어 테이블 정의를 자동 생성하면 Athena가 바로 질의할 수 있습니다. "스키마를 자동으로 발견"이 신호입니다.
클러스터 관리 없이 ETL만 하면 Glue, Spark·Hadoop 클러스터를 세밀히 튜닝해야 하면 EMR입니다. 운영 부담 최소화 요구면 Glue입니다.
자주 틀리는 함정 / Common traps
스키마 발견을 위해 Lambda로 직접 파싱 스크립트를 짜는 선택지 — 크롤러가 이미 하는 일입니다.
AWS Glue
Serverless ETL and a data catalog
이게 뭔가요? / What is this?
Glue is not a server cluster — it is a serverless ETL and catalog service that figures out the shape of data, builds a searchable list of it, and reformats it if needed. Think of it as an automatic librarian who opens every box in the warehouse, catalogs the contents, and even repackages them when required.
개요 / Overview
Glue crawls sources to register schemas in a catalog and runs transformations on serverless Spark. Its catalog is also the metadata store Athena and Redshift Spectrum read.
동작 원리 / How it works
Glue has three parts. Crawlers scan S3 and JDBC sources, infer schema, and register tables in the Data Catalog. The Catalog is shared metadata for Athena, Redshift Spectrum, and EMR. ETL jobs run transformation scripts on serverless Spark, where you set worker count and manage no cluster.
The link the exam leans on is that crawler-created tables let Athena query immediately — signalled by "automatically discover the schema and query with SQL".
시험은 무엇을 보는가 / What the exam is testing
The exam splits Glue into cluster-free ETL and the catalog. The EMR fork is whether you need fine control of Spark or Hadoop; under minimise-overhead, Glue wins.
시험 포인트 / Exam points
A crawler scans S3 and generates table definitions that Athena can query immediately. "Automatically discover the schema" is the signal.
ETL without managing clusters → Glue. Fine-grained control of Spark or Hadoop clusters → EMR. "Minimize operational overhead" → Glue.
자주 틀리는 함정 / Common traps
Writing a parsing script in Lambda to discover schema — a crawler already does that.
AWS SAA Hub Pro는 독립 학습 자료이며 Amazon Web Services, Inc.의 공식 서비스가 아닙니다. 시험 정책과 서비스 사양은 AWS 공식 문서를 기준으로 확인하세요.