Kinesis 스트림
실시간 스트리밍 데이터 수집·처리
이게 뭔가요? / What is this?
Kinesis는 저장 창고가 아니라, 끊임없이 흘러 들어오는 데이터를 실시간으로 흘려보내는 가상의 컨베이어 벨트입니다. 상자를 창고에 쌓아뒀다가 나중에 꺼내는 게 아니라, 벨트 위를 지나가는 물건을 그 자리에서 바로 집어 처리하는 것과 같아서 클릭 로그나 센서 데이터처럼 계속 밀려드는 정보를 실시간으로 다룹니다.
개요 / Overview
Kinesis는 클릭스트림, IoT 센서, 로그처럼 끊임없이 흘러드는 데이터를 실시간으로 받습니다. 시험에서는 Data Streams와 Data Firehose의 구분이 핵심입니다.
동작 원리 / How it works
Kinesis Data Streams는 데이터를 샤드로 쪼개 저장합니다. 레코드의 파티션 키를 해시해 샤드를 정하므로, 같은 키의 레코드는 같은 샤드에 순서대로 쌓입니다. 소비자는 샤드별로 순서대로 읽으며, 데이터는 기본 24시간(최대 365일) 보관되어 여러 소비자가 각자 속도로 재생할 수 있습니다. 처리량은 샤드 수에 비례해 늘어납니다.
Data Firehose는 소비자를 직접 만들지 않아도 되는 완전 관리형 적재 파이프라인입니다. 버퍼가 크기나 시간 조건을 만족하면 S3·Redshift·OpenSearch·Splunk로 자동 전송하고, 변환이 필요하면 Lambda를 끼울 수 있습니다. 대신 버퍼링 때문에 최소 지연이 수십 초 이상입니다.
시험은 무엇을 보는가 / What the exam is testing
시험은 Streams와 Firehose의 구분을 반복해서 묻습니다. "실시간으로 처리해 즉시 반응"은 Streams, "그냥 S3에 모아 두면 된다"는 Firehose입니다. 두 번째 축은 샤드 수와 파티션 키 설계 — 처리량이 부족하거나 특정 샤드가 뜨거워지는 문제입니다.
시험 포인트 / Exam points
Data Streams는 밀리초 지연으로 커스텀 소비자가 읽고 데이터를 최대 365일 보관합니다. Firehose는 완전 관리형으로 S3·Redshift·OpenSearch에 자동 적재하지만 지연이 최소 60초입니다. "실시간 처리"면 Streams, "S3로 적재만"이면 Firehose입니다.
Data Streams의 처리량은 샤드 수에 비례합니다. "초당 10만 건" 같은 조건에서 단일 샤드 선택지는 오답입니다. On-Demand 모드는 샤드 관리를 없앱니다.
같은 파티션 키의 레코드는 같은 샤드에 들어가 순서가 보장됩니다. 기기별 순서가 중요하면 기기 ID를 파티션 키로 씁니다.
자주 틀리는 함정 / Common traps
초당 수만 건에 단일 샤드를 고르는 것 — 샤드당 쓰기 한도(1MB/s, 1000 레코드/s)를 초과합니다.
초 단위 실시간 반응이 필요한데 Firehose를 고르는 것 — 버퍼링 지연 때문에 요구를 못 맞춥니다.
SQS로 대체할 수 있는지 검토하지 않는 것 — 순서 재생과 다중 소비자가 필요 없다면 SQS가 더 단순합니다.
Amazon Kinesis
Real-time streaming data ingestion and processing
이게 뭔가요? / What is this?
Kinesis is not a storage warehouse — it is a virtual conveyor belt that carries continuously arriving data in real time. Rather than stacking boxes in a warehouse and pulling them out later, it is like picking items straight off a moving belt as they pass by, handling constantly incoming data such as clickstreams or sensor readings the instant it arrives.
개요 / Overview
Kinesis ingests continuously flowing data such as clickstreams, IoT telemetry, and logs. The exam hinges on distinguishing Data Streams from Data Firehose.
동작 원리 / How it works
Kinesis Data Streams shards the data. A record's partition key is hashed to pick a shard, so records sharing a key accumulate in order on one shard. Consumers read each shard in order, and data is retained 24 hours by default (up to 365 days) so several consumers can replay at their own pace. Throughput scales with shard count.
Data Firehose is a fully managed delivery pipeline needing no consumer of your own. When its buffer hits a size or time threshold it delivers to S3, Redshift, OpenSearch, or Splunk, optionally transforming through Lambda. The buffering means a minimum latency of tens of seconds.
시험은 무엇을 보는가 / What the exam is testing
The exam repeatedly asks Streams versus Firehose: "process in real time and react immediately" → Streams; "just land it in S3" → Firehose. The second axis is shard count and partition-key design — insufficient throughput or a hot shard.
시험 포인트 / Exam points
Data Streams gives millisecond latency for custom consumers and retains data up to 365 days. Firehose is fully managed, loading to S3, Redshift, or OpenSearch with a minimum ~60-second buffer. "Real-time processing" → Streams; "just load into S3" → Firehose.
Data Streams throughput scales with shard count, so a single-shard option is wrong for "100,000 records per second". On-demand mode removes shard management.
Records sharing a partition key land on the same shard in order, so use the device ID as the partition key when per-device ordering matters.
자주 틀리는 함정 / Common traps
Choosing a single shard for tens of thousands of records per second — it exceeds the per-shard write limit (1 MB/s, 1000 records/s).
Choosing Firehose when sub-second reaction is required — buffering latency cannot meet it.
Not checking whether SQS suffices — without replay and multiple consumers, SQS is simpler.
AWS SAA Hub Pro는 독립 학습 자료이며 Amazon Web Services, Inc.의 공식 서비스가 아닙니다. 시험 정책과 서비스 사양은 AWS 공식 문서를 기준으로 확인하세요.