How-To Guide on Advanced Beginner

OutOfMemoryError 해결하기

d8lzz1gpw@mozmail.com (kimbenji) — Fri, 16 Jan 2026 00:00:00 +0000

예상 소요 시간: 약 15분

TL;DR

Driver OOM: collect() 결과 크기 줄이기, spark.driver.memory 증가

Executor OOM: 파티션 수 증가 (repartition), spark.executor.memory 증가

진단 우선: Spark UI에서 어디서 OOM이 발생하는지 먼저 확인

문제 정의#

Spark 애플리케이션 실행 중 다음과 같은 오류가 발생합니다:

java.lang.OutOfMemoryError: Java heap space

또는:

Container killed by YARN for exceeding memory limits

이 가이드에서는 OOM 오류의 원인을 진단하고 해결하는 방법을 단계별로 설명합니다.

전제 조건#

항목	요구 사항	확인 방법
Spark 버전	2.4 이상 (3.x 권장)	`spark-submit --version`
Java 버전	8, 11, 또는 17	`java -version`
Spark UI	접근 가능	브라우저에서 `http://localhost:4040` 열기
권한	Spark 설정 변경 가능	spark-submit 실행 권한 확인

지원 환경: Linux, macOS, Windows (WSL2 권장)

데이터 스큐 해결하기

d8lzz1gpw@mozmail.com (kimbenji) — Fri, 16 Jan 2026 00:00:00 +0000

예상 소요 시간: 약 20분

TL;DR

진단: Spark UI Stages 탭에서 Task Duration Min/Max 비교 (10배 이상 차이 = 스큐)

AQE 활성화: spark.sql.adaptive.skewJoin.enabled=true (Spark 3.0+)

수동 해결: Salting 기법으로 핫 키 분산

문제 정의#

Spark 작업이 대부분 빠르게 완료되지만 일부 Task만 오래 걸리는 현상이 발생합니다:

Stage 3: 199/200 tasks completed... (마지막 1개가 수십 분째 실행 중)

이는 데이터 스큐(Data Skew) - 특정 키에 데이터가 집중되어 해당 파티션만 과부하 상태가 됩니다.

전제 조건#

항목	요구 사항	확인 방법
Spark 버전	2.4+ (AQE는 3.0+)	`spark-submit --version`
Spark UI	접근 가능	브라우저에서 `http://localhost:4040` 열기
데이터	조인/그룹화에 사용되는 키 컬럼 존재	스키마에서 키 컬럼 확인

지원 환경: Linux, macOS, Windows (WSL2 권장)

셔플 최적화하기

d8lzz1gpw@mozmail.com (kimbenji) — Fri, 16 Jan 2026 00:00:00 +0000

예상 소요 시간: 약 20분

TL;DR

셔플 확인: df.explain()에서 Exchange 노드 = 셔플 발생

불필요한 셔플 제거: 같은 그룹에서 여러 집계 한 번에 수행

브로드캐스트 조인: 작은 테이블(수십 MB)은 broadcast() 사용

셔플 파티션 수: spark.sql.shuffle.partitions 조정 (기본 200)

문제 정의#

다음과 같은 증상이 나타나면 셔플 최적화가 필요합니다:

증상	확인 위치
Stage 간 전환이 10초 이상 걸림	Spark UI → Jobs 탭
Shuffle Read/Write가 수십 GB 이상	Spark UI → Stages 탭
네트워크 I/O로 인한 타임아웃	애플리케이션 로그
`explain()`에서 `Exchange` 노드 다수	실행 계획 출력

셔플은 Spark에서 가장 비용이 큰 연산입니다. 아래 연산은 셔플을 발생시킵니다: