개념 이해 on Advanced Beginner

핵심 구성요소

d8lzz1gpw@mozmail.com (kimbenji) — Thu, 15 Jan 2026 00:00:00 +0000

TL;DR

Producer: 메시지를 발행하고 Partition을 선택하여 Broker로 전송

Consumer: Consumer Group 단위로 Partition에서 메시지를 읽고 Offset 관리

Broker: 메시지를 저장하고 복제하며 Leader/Follower 구조로 고가용성 제공

Topic: 메시지를 논리적으로 분류하는 채널

Partition: Topic을 물리적으로 분할하여 병렬 처리 가능하게 하는 단위

대상 독자: Kafka를 처음 접하는 개발자 또는 분산 메시지 시스템의 기본 개념을 학습하려는 분

선수 지식: 기본적인 네트워크 통신 개념, REST API 사용 경험, Spring Boot 기초

소요 시간: 약 25-30분

Kafka는 다섯 가지 핵심 구성요소로 이루어져 있습니다. Producer는 메시지를 발행하고, Consumer는 메시지를 소비하며, Broker는 메시지를 저장하고 전달합니다. Topic은 메시지를 논리적으로 분류하는 채널이고, Partition은 Topic을 물리적으로 분할하여 병렬 처리를 가능하게 합니다. 이 다섯 가지 구성요소가 어떻게 상호작용하는지 이해하면 Kafka 기반 시스템을 설계하고 운영하는 데 필요한 기초를 갖추게 됩니다.

메시지 흐름

d8lzz1gpw@mozmail.com (kimbenji) — Thu, 15 Jan 2026 00:00:00 +0000

TL;DR

Producer가 메시지를 직렬화하고 Partitioner가 대상 Partition을 결정

Key가 있으면 같은 Key는 같은 Partition으로 전송되어 순서 보장

Broker는 메시지를 Partition에 저장하고 ISR에 복제 후 ACK 반환

Consumer는 Pull 방식으로 메시지를 가져와 처리 후 Offset 커밋

At-Most-Once, At-Least-Once, Exactly-Once 세 가지 전달 보장 수준 제공

대상 독자: Kafka의 기본 구성요소를 이해한 개발자, 메시지 전달 과정의 상세 동작을 학습하려는 분

선수 지식: 핵심 구성요소의 Producer, Consumer, Broker, Topic, Partition 개념

소요 시간: 약 20분

Consumer Group & Offset

d8lzz1gpw@mozmail.com (kimbenji) — Thu, 15 Jan 2026 00:00:00 +0000

TL;DR

Consumer Group은 동일 목적의 Consumer들을 묶어 병렬 처리하는 논리적 그룹

핵심 규칙: 하나의 Partition은 Group 내에서 하나의 Consumer만 읽을 수 있음

Offset은 Partition 내 메시지 위치 번호로, __consumer_offsets 토픽에 저장

자동 커밋은 간편하지만 데이터 유실 위험, 수동 커밋은 정확한 제어 가능

Consumer 장애 시 리밸런싱으로 Partition이 자동 재분배됨

대상 독자: Kafka Consumer를 개발하거나 운영하는 개발자, 병렬 처리와 상태 관리를 학습하려는 분

선수 지식: 메시지 흐름의 Topic과 Partition 개념, Replication의 Leader/Follower 개념

소요 시간: 약 25-30분

Consumer 심화 운영

d8lzz1gpw@mozmail.com (kimbenji) — Thu, 15 Jan 2026 00:00:00 +0000

TL;DR

session.timeout.ms는 장애 감지, max.poll.interval.ms는 처리 시간 제한 설정

Cooperative Sticky Assignor로 리밸런싱 영향 최소화 (Kafka 2.4+)

Static Group Membership으로 재시작 시 리밸런싱 방지 가능

Consumer Lag이 가장 중요한 모니터링 지표, 추세 관찰이 핵심

kafka-consumer-groups.sh로 Offset 수동 리셋 가능 (Consumer 중지 필요)

대상 독자: Kafka Consumer를 프로덕션에서 운영하는 개발자 및 운영자

선수 지식: Consumer Group & Offset의 기본 개념, Replication의 ISR과 Leader 개념

소요 시간: 약 25-30분

리밸런싱 최적화, Consumer Lag 모니터링, 트러블슈팅을 다룹니다. 이 문서는 Kafka 3.6.x 기준으로 작성되었으며, Spring Boot 3.2.x와 Spring Kafka 3.1.x, Micrometer 1.12.x, Java 17 환경에서 코드 예제가 검증되었습니다.

Replication

d8lzz1gpw@mozmail.com (kimbenji) — Thu, 15 Jan 2026 00:00:00 +0000

TL;DR

Replication Factor(RF)는 Partition 복제본 수, 프로덕션에서 RF=3 권장

Leader가 읽기/쓰기 처리, Follower는 복제만 담당하다가 장애 시 승격

ISR(In-Sync Replicas)은 Leader와 동기화된 복제본 집합

min.insync.replicas=2 + acks=all 조합으로 데이터 안전성 확보

KRaft 모드(Kafka 3.3+)로 Zookeeper 없이 클러스터 운영 가능

대상 독자: Kafka 클러스터를 운영하거나 고가용성 시스템을 설계하는 개발자 및 운영자

선수 지식: 핵심 구성요소의 Broker, Partition 개념

소요 시간: 약 15분

데이터 복제는 Kafka의 고가용성과 내결함성의 핵심입니다. 이를 은행 금고 시스템에 비유하면 이해하기 쉽습니다:

심화 개념

d8lzz1gpw@mozmail.com (kimbenji) — Thu, 15 Jan 2026 00:00:00 +0000

TL;DR

acks=0(빠름/유실 가능), acks=1(Leader만 확인), acks=all(ISR 전체 확인, 권장)

acks=all + min.insync.replicas=2 조합으로 데이터 안전성 확보

Message Key로 같은 Partition에 전송하여 순서 보장, Partition 수 변경 주의

Retention: 시간 기반 삭제(기본 7일), 용량 기반 삭제, Log Compaction

Idempotent Producer(Kafka 3.0+ 기본)로 네트워크 오류 시 중복 방지

대상 독자: Kafka의 심화 개념을 이해하고 프로덕션 설정을 최적화하려는 개발자

선수 지식: 메시지 흐름의 Topic, Partition, Broker 개념, Replication의 ISR, Leader, Follower 개념

소요 시간: 약 25-30분

트랜잭션과 Exactly-Once

d8lzz1gpw@mozmail.com (kimbenji) — Thu, 15 Jan 2026 00:00:00 +0000

TL;DR

At-Most-Once: 유실 가능/중복 없음, At-Least-Once: 유실 없음/중복 가능

Exactly-Once: Idempotent Producer + Transactional API + read_committed 필요

Idempotent Producer는 Kafka 3.0+에서 기본 활성화, 단일 Partition 중복 방지

Kafka 트랜잭션은 여러 Partition에 원자적 쓰기 보장

DB + Kafka 원자적 처리가 필요하면 Outbox 패턴 사용

대상 독자: 메시지 전달 보장이 중요한 시스템을 개발하는 개발자

선수 지식: 심화 개념의 acks, Idempotent Producer 개념

소요 시간: 약 25-30분

메시지 전달 보장 수준과 Kafka 트랜잭션을 이해합니다. 이 문서는 Kafka 3.6.x 기준으로 작성되었으며, Spring Boot 3.2.x와 Spring Kafka 3.1.x, Java 17 환경에서 코드 예제가 검증되었습니다.

Producer 튜닝

d8lzz1gpw@mozmail.com (kimbenji) — Thu, 15 Jan 2026 00:00:00 +0000

TL;DR

batch.size와 linger.ms로 배치 효율 조절 (OR 조건으로 동작)

linger.ms=5만으로도 처리량이 약 2.7배 증가 가능

compression.type: snappy(일반), lz4(고성능), zstd(고압축) 권장

Idempotent Producer(Kafka 3.0+ 기본)로 중복 방지 및 순서 보장

buffer.memory 부족 시 BufferExhaustedException 발생

대상 독자: Producer 성능을 최적화하려는 개발자, 대용량 메시지 처리가 필요한 운영자

선수 지식: 심화 개념의 acks, Idempotent Producer, 메시지 흐름의 Topic, Partition 개념

소요 시간: 약 25-30분

Producer 성능을 최적화하는 핵심 설정들을 이해합니다. 이 문서는 Kafka 3.6.x 기준으로 작성되었으며, Spring Boot 3.2.x와 Spring Kafka 3.1.x, Java 17 환경에서 코드 예제가 검증되었습니다.

Consumer 튜닝

d8lzz1gpw@mozmail.com (kimbenji) — Thu, 15 Jan 2026 00:00:00 +0000

TL;DR

fetch.min.bytes/fetch.max.wait.ms로 배치 효율과 지연시간 균형 조절

max.poll.records와 max.poll.interval.ms가 리밸런싱 방지의 핵심

session.timeout.ms는 heartbeat.interval.ms의 3배 이상 권장

처리량 최적화: fetch.min.size 증가, max.poll.records 증가

지연시간 최적화: fetch.min.size 감소, fetch.max.wait 감소

대상 독자: Consumer 성능을 최적화하려는 개발자, 운영 안정성을 높이려는 운영자

선수 지식: Consumer Group & Offset의 Consumer 동작 원리

소요 시간: 약 20분

Consumer 성능 최적화와 안정적인 운영을 위한 설정을 이해합니다.

전체 비유: 택배 수거 및 배송#

Consumer 튜닝을 택배 기사의 물품 수거에 비유하면 이해하기 쉽습니다:

에러 처리 심화

d8lzz1gpw@mozmail.com (kimbenji) — Thu, 15 Jan 2026 00:00:00 +0000

TL;DR

에러 유형: 역직렬화 에러(건너뛰기), 일시적 에러(재시도), 영구적 에러(DLT)

@RetryableTopic으로 선언적 재시도 및 DLT 처리 (Spring Kafka 2.7+)

DefaultErrorHandler + DeadLetterPublishingRecoverer로 DLT 발행

역직렬화 에러는 ErrorHandlingDeserializer로 처리

DLT 메시지 도착 시 알림 설정으로 빠른 대응 필요

대상 독자: Consumer 에러 처리 전략을 구현하려는 개발자

선수 지식: Consumer Group & Offset의 Consumer 동작 원리, Spring Kafka 기초

소요 시간: 약 25-30분

Kafka Consumer의 에러 처리 전략과 Dead Letter Topic 패턴을 이해합니다.

전체 비유: 우편물 처리#

Consumer 에러 처리를 우편물 배달에 비유하면 이해하기 쉽습니다:

모니터링 기초

d8lzz1gpw@mozmail.com (kimbenji) — Thu, 15 Jan 2026 00:00:00 +0000

TL;DR

Consumer Lag이 가장 중요한 메트릭, 증가 추세 시 즉시 조치 필요

Broker 핵심 메트릭: UnderReplicatedPartitions, ActiveControllerCount, OfflinePartitionsCount

Producer 메트릭: record-send-rate, record-error-rate, request-latency-avg

Prometheus + Grafana로 시각화 및 알림 설정 권장

Lag 급증 시: Consumer 상태 → 처리 속도 → 리밸런싱 → 스케일 아웃 순서로 확인

대상 독자: Kafka 클러스터를 운영하고 모니터링하려는 운영자 및 개발자

선수 지식: Consumer Group & Offset의 Offset과 Lag 개념

소요 시간: 약 25-30분

Kafka 클러스터와 애플리케이션의 핵심 메트릭을 이해합니다.

보안

d8lzz1gpw@mozmail.com (kimbenji) — Thu, 15 Jan 2026 00:00:00 +0000

TL;DR

Kafka 보안 3계층: SSL/TLS(암호화) → SASL(인증) → ACL(권한)

SSL/TLS로 전송 중 데이터 암호화, 양방향 TLS로 클라이언트 인증

SASL 메커니즘: SCRAM-SHA-256 권장 (프로덕션), PLAIN은 SSL과 함께만 사용

ACL로 Principal별 Topic/Group 접근 권한 세분화

allow.everyone.if.no.acl.found=false 설정으로 기본 거부 정책 적용

대상 독자: Kafka 클러스터 보안을 구성하려는 운영자 및 보안 담당자

선수 지식: 핵심 구성요소의 Broker, Producer, Consumer 개념, 기본적인 보안 개념(암호화, 인증, 인가)

소요 시간: 약 25-30분

프로덕션 환경에서 Kafka를 안전하게 운영하기 위한 암호화, 인증, 권한 관리를 이해합니다.

생태계

d8lzz1gpw@mozmail.com (kimbenji) — Thu, 15 Jan 2026 00:00:00 +0000

TL;DR

Kafka Connect: 외부 시스템과 Kafka 간 데이터 이동, 코딩 없이 설정으로 파이프라인 구축

Schema Registry: 메시지 스키마 중앙 관리, 호환성 검증으로 런타임 오류 방지

Kafka Streams: 실시간 스트림 처리 라이브러리, 별도 클러스터 불필요

Debezium: CDC(Change Data Capture)로 DB 변경사항을 Kafka로 스트리밍

스키마 호환성: BACKWARD(기본), FORWARD, FULL, NONE 정책 지원

대상 독자: Kafka 생태계를 활용한 데이터 파이프라인을 구축하려는 개발자 및 데이터 엔지니어

선수 지식: 핵심 구성요소의 Topic, Producer, Consumer 개념, 메시지 흐름의 전체 데이터 흐름