How-To Guide on Advanced Beginner

Consumer Lag 진단 및 해결

d8lzz1gpw@mozmail.com (kimbenji) — Sat, 10 Jan 2026 00:00:00 +0000

Consumer Lag가 발생했을 때 원인을 진단하고 해결하는 방법을 단계별로 안내합니다.

TL;DR

Consumer Lag: Consumer가 읽지 못한 메시지 수 (Producer 속도 > Consumer 처리 속도)

진단: kafka-consumer-groups.sh로 Lag 확인, 모니터링 도구로 추이 분석

해결: Consumer 수 증가, 처리 로직 최적화, Partition 수 조정, 배치 설정 튜닝

Consumer Lag란?#

Consumer Lag는 Producer가 발행한 메시지 중 Consumer가 아직 읽지 못한 메시지의 수입니다. Lag가 지속적으로 증가하면 메시지 처리 지연이 발생하고, 최악의 경우 메시지가 보관 기간을 초과하여 삭제될 수 있습니다.

Producer 성능 최적화

d8lzz1gpw@mozmail.com (kimbenji) — Sat, 10 Jan 2026 00:00:00 +0000

Producer의 처리량을 높이고 지연 시간을 줄이는 방법을 단계별로 안내합니다.

TL;DR

처리량 우선: batch.size 증가, linger.ms 설정, 압축 활성화

지연 우선: linger.ms=0, acks=1, 작은 배치 크기

안정성 우선: acks=all, enable.idempotence=true, 재시도 설정

트레이드오프: 처리량 ↔ 지연 시간 ↔ 안정성은 상충 관계

성능 최적화의 세 가지 축#

Producer 성능 최적화는 세 가지 요소의 균형을 맞추는 작업입니다:

flowchart TB
 T[처리량<br>Throughput] <--> L[지연 시간<br>Latency]
 L <--> D[안정성<br>Durability]
 D <--> T

요소	설명	최적화 방향
처리량	초당 전송 메시지 수	배치 크기 증가, 압축 활성화
지연 시간	메시지 전송~확인까지 시간	배치 대기 시간 감소
안정성	메시지 유실 방지	acks=all, 복제 대기

1단계: 현재 성능 측정하기#

최적화 전에 현재 성능을 측정하세요. 기준선 없이는 개선 효과를 알 수 없습니다.

메시지 손실 방지 가이드

d8lzz1gpw@mozmail.com (kimbenji) — Fri, 16 Jan 2026 00:00:00 +0000

Kafka에서 메시지 손실을 방지하고 안정적인 메시징을 보장하는 방법을 단계별로 안내합니다.

소요 시간: 약 30분 (설정 적용 기준)

TL;DR

Producer 측: acks=all, enable.idempotence=true, 적절한 재시도 설정

Broker 측: min.insync.replicas=2, unclean.leader.election.enable=false

Consumer 측: 수동 커밋, 처리 후 커밋, 재시도 메커니즘 구현

End-to-End: 메시지 추적 ID 활용, 모니터링 및 알림 설정

시작하기 전에#

이 가이드를 따라하기 위해 다음 환경이 필요합니다.

필수 요구사항#

항목	최소 버전	확인 명령어
Apache Kafka	2.8+	`kafka-topics.sh --version`
Java	17+	`java -version`
Spring Boot	3.0+	`./gradlew dependencies \| grep spring-boot`
Spring Kafka	3.0+	`./gradlew dependencies \| grep spring-kafka`

환경 확인#

Kafka 클러스터에 접근 가능한지 확인하세요:

토픽 설계 및 파티션 결정 가이드

d8lzz1gpw@mozmail.com (kimbenji) — Fri, 16 Jan 2026 00:00:00 +0000

새로운 Kafka 토픽을 생성할 때 적절한 파티션 수, 복제 팩터, 보관 정책을 결정하는 방법을 안내합니다.

소요 시간: 약 15분

TL;DR

파티션 수: 예상 처리량 / Consumer당 처리량, 최소 6개 권장

복제 팩터: 프로덕션은 3, 개발은 1

보관 기간: 비즈니스 요구사항 + 재처리 여유 시간

네이밍: {domain}.{entity}.{event-type} 패턴 사용

시작하기 전에#

필수 요구사항#

항목	요구사항	확인 명령어
Kafka CLI	설치 및 PATH 등록	`kafka-topics.sh --version`
Broker 접근	관리자 권한	`kafka-acls.sh --list`
클러스터 정보	Broker 수 파악	`kafka-broker-api-versions.sh`

환경 확인#

토픽 생성 권한과 클러스터 상태를 확인하세요: