How-To Guide on Advanced Beginner

높은 지연시간 진단

d8lzz1gpw@mozmail.com (kimbenji) — Mon, 12 Jan 2026 00:00:00 +0000

대상 상황: P99 응답시간이 SLA(500ms)를 초과 목표: 병목 구간을 찾아 해결 소요 시간: 15~30분 (문제 복잡도에 따라 상이) 성공 기준: P99 응답시간이 SLA 임계값(500ms) 이하로 복구됨

문제 상황#

Alert: HighP99Latency
Service: order-service
P99: 2.5s (Threshold: 500ms)
Duration: 10 minutes

진단 워크플로우#

graph TD
 A["1. 범위 파악<br>어떤 서비스? 언제부터?"]
 B["2. 구간 분석<br>어디서 느린가?"]
 C["3. 리소스 점검<br>CPU/메모리/DB?"]
 D["4. 근본 원인<br>코드? 쿼리? 외부?"]
 E["5. 해결"]

 A --> B --> C --> D --> E

Step 1: 범위 파악#

영향 범위 확인#

# 어떤 서비스가 느린가?
topk(5,
 histogram_quantile(0.99,
 sum by (service, le) (rate(http_request_duration_seconds_bucket[5m]))
 )
)

# 언제부터 느려졌나?
histogram_quantile(0.99,
 sum by (le) (rate(http_request_duration_seconds_bucket{service="order-service"}[5m]))
)
# → Time range: Last 1 hour

특정 엔드포인트 확인#

# 엔드포인트별 P99
histogram_quantile(0.99,
 sum by (uri, le) (rate(http_request_duration_seconds_bucket{service="order-service"}[5m]))
)

결과: /orders POST 엔드포인트가 느림

메트릭 카디널리티 최적화

d8lzz1gpw@mozmail.com (kimbenji) — Mon, 12 Jan 2026 00:00:00 +0000

대상 상황: Prometheus 메모리/스토리지 급증, 쿼리 느림 목표: 불필요한 시계열을 줄여 비용 최적화 소요 시간: 30분~1시간 (분석 및 수정 복잡도에 따라 상이) 성공 기준: 시계열 수가 목표치 이하로 감소하고 메모리 사용량이 안정화됨

문제 상황#

Alert: PrometheusHighCardinality
Active Series: 2,500,000 (Threshold: 1,000,000)
Memory Usage: 32GB

카디널리티란?#

카디널리티 = 고유한 시계열 수

http_requests_total{method="GET", status="200", path="/api/users"} # 1개
http_requests_total{method="GET", status="200", path="/api/users/123"} # 또 1개!
http_requests_total{method="GET", status="200", path="/api/users/456"} # 또 1개!

문제: path에 user_id가 들어가면 사용자 수만큼 시계열 생성

알림 피로도 관리

d8lzz1gpw@mozmail.com (kimbenji) — Fri, 16 Jan 2026 00:00:00 +0000

대상 상황: 하루에 수십~~수백 건의 알림이 발생하여 중요한 알림을 놓침 목표: 실질적으로 대응이 필요한 알림만 수신 소요 시간: 1~~2시간 (알림 규칙 분석 및 수정) 성공 기준: 일일 알림 수가 대응 가능한 수준(예: 10건 이하)으로 감소

시작하기 전에#

필요 환경#

구성요소	버전	확인 방법
Prometheus	2.40+	`prometheus --version`
Alertmanager	0.25+	`alertmanager --version`
amtool	0.25+	`amtool --version`

필요 권한#

Prometheus 설정 파일(prometheus.yml) 수정 권한
Alertmanager 설정 파일(alertmanager.yml) 수정 권한
Prometheus/Alertmanager 재시작 권한

환경 확인#

# Prometheus 상태 확인
curl -s http://localhost:9090/-/healthy && echo "Prometheus OK"

# Alertmanager 상태 확인
curl -s http://localhost:9093/-/healthy && echo "Alertmanager OK"

# amtool 설정 확인
amtool config show --alertmanager.url=http://localhost:9093

문제 상황#

# 어제 발생한 알림 요약
Critical: 15건 (HighCPU 8건, HighMemory 7건)
Warning: 87건 (SlowResponse 45건, HighLatency 32건, PodRestart 10건)
총: 102건

# 실제 장애: 1건
# 놓친 알림: 1건 (HighCPU 알림에 묻힘)

알림 피로도(Alert Fatigue)가 발생하면: