EMR
Hadoop·Spark 클러스터를 관리형으로 실행
이게 뭔가요? / What is this?
EMR은 상시 운영되는 서버가 아니라, Spark나 Hadoop 같은 기존 빅데이터 도구를 그대로 쓰기 위해 필요한 순간에만 통째로 빌려 쓰는 관리형 클러스터입니다. 큰 공사가 있을 때만 동일한 장비와 인력을 임시로 불러 쓰고, 끝나면 돌려보내는 것과 같습니다.
개요 / Overview
EMR은 Spark, Hadoop, Hive, Presto 클러스터를 띄워 대규모 데이터 처리를 수행합니다. 기존 빅데이터 도구와 코드를 그대로 써야 할 때 선택합니다.
동작 원리 / How it works
EMR은 Spark·Hadoop·Hive·Presto·HBase 클러스터를 프로비저닝하고 관리합니다. 노드는 세 종류입니다 — 마스터(조정), 코어(HDFS 데이터 보유 + 계산), 태스크(계산만). 태스크 노드는 데이터를 갖지 않으므로 Spot으로 띄워도 안전하고, 코어 노드는 On-Demand로 두는 것이 표준 비용 패턴입니다.
EMRFS로 S3를 스토리지로 쓰면 데이터가 클러스터 수명과 분리됩니다. 그러면 작업이 끝난 뒤 클러스터를 종료해도 데이터가 남아, 일시적(transient) 클러스터로 유휴 비용을 없앨 수 있습니다.
시험은 무엇을 보는가 / What the exam is testing
시험 신호는 기존 빅데이터 도구 이름(Spark, Hadoop, Hive, HBase)과 세밀한 튜닝 요구입니다. 비용 문제에서는 태스크 노드 Spot + 일시적 클러스터가 정답 조합입니다.
시험 포인트 / Exam points
코어 노드는 On-Demand로, 태스크 노드는 Spot으로 구성하면 비용을 크게 낮추면서 데이터 손실 위험을 피합니다. EMR 비용 문제의 정답입니다.
작업이 끝나면 클러스터를 종료하고 데이터는 S3(EMRFS)에 남겨두면 유휴 비용이 사라집니다.
자주 틀리는 함정 / Common traps
코어 노드를 Spot으로 구성하는 선택지 — HDFS 데이터가 소실될 수 있습니다.
Amazon EMR
Managed Hadoop and Spark clusters
이게 뭔가요? / What is this?
EMR is not an always-on server — it is a managed cluster rented, whole, only for the moment it is needed to run existing big-data tools like Spark or Hadoop exactly as before. It is like calling in the same equipment and crew temporarily for a big job and releasing them once it is done.
개요 / Overview
EMR provisions Spark, Hadoop, Hive, and Presto clusters for large-scale processing, chosen when existing big-data tooling and code must be preserved.
동작 원리 / How it works
EMR provisions and manages Spark, Hadoop, Hive, Presto, and HBase clusters. Nodes come in three kinds: master (coordination), core (holds HDFS data and computes), and task (computes only). Task nodes hold no data, so running them on Spot is safe while keeping core nodes On-Demand — the standard cost pattern.
Using S3 through EMRFS decouples data from cluster lifetime, so the cluster can be terminated after the job and the data survives — a transient cluster with no idle cost.
시험은 무엇을 보는가 / What the exam is testing
The signals are named big-data tools (Spark, Hadoop, Hive, HBase) and a need for fine tuning. In cost questions the answer pairs Spot task nodes with a transient cluster.
시험 포인트 / Exam points
Run core nodes On-Demand and task nodes on Spot to cut cost without risking data loss — the answer for EMR cost questions.
Terminate the cluster when the job finishes and keep data in S3 via EMRFS to eliminate idle cost.
자주 틀리는 함정 / Common traps
Running core nodes on Spot — HDFS data can be lost.
AWS SAA Hub Pro는 독립 학습 자료이며 Amazon Web Services, Inc.의 공식 서비스가 아닙니다. 시험 정책과 서비스 사양은 AWS 공식 문서를 기준으로 확인하세요.