부록 on Advanced Beginner

용어 사전

d8lzz1gpw@mozmail.com (kimbenji) — Thu, 15 Jan 2026 00:00:00 +0000

Spark에서 사용되는 주요 용어와 개념을 정리합니다. 각 용어에서 관련 문서로 이동할 수 있습니다.

TL;DR

핵심 추상화: SparkSession(진입점) → Application → Job → Stage → Task

데이터 구조: RDD(저수준) < DataFrame(스키마, Row) < Dataset(타입 안전)

실행 모델: Transformation(지연 평가) + Action(실제 실행) = DAG 기반 실행

성능 핵심: Partition(분할 단위), Shuffle(데이터 재분배), Cache/Persist(재사용)

최적화 도구: Catalyst Optimizer(쿼리 최적화), Tungsten(실행 엔진), AQE(런타임 최적화)

핵심 개념#

Action

RDD/DataFrame의 실제 계산을 트리거하고 결과를 반환하는 연산. count(), collect(), show(), write() 등이 있다. → Transformation과 Action

FAQ

d8lzz1gpw@mozmail.com (kimbenji) — Sat, 10 Jan 2026 00:00:00 +0000

자주 묻는 질문과 흔히 발생하는 문제의 해결 방법을 제공합니다.

TL;DR

Java 버전: Spark 3.5는 Java 8, 11, 17 지원 (21은 미지원)

DataFrame vs RDD: DataFrame 권장 (자동 최적화, 간결한 API)

흔한 오류: OutOfMemoryError(메모리 증가), NotSerializableException(직렬화 가능 객체만 사용)

성능 튜닝: 셔플 최소화, 적절한 파티션 수(코어 x 2~4), 브로드캐스트 조인 활용

디버깅: Spark UI의 Stages 탭에서 Task 분포와 스큐 확인

일반 질문#

Spark는 어떤 Java 버전을 지원하나요?

Spark 3.5는 Java 8, 11, 17을 지원합니다. Java 21은 아직 공식 지원되지 않습니다.

참고 자료

d8lzz1gpw@mozmail.com (kimbenji) — Sat, 10 Jan 2026 00:00:00 +0000

Apache Spark 학습을 위한 공식 문서와 추가 자료를 안내합니다.

TL;DR

공식 문서: spark.apache.org/docs/latest - 가장 정확한 최신 정보

Java API: Javadoc - Dataset, SparkSession, functions 클래스 참조

학습 추천: Databricks Academy(공식), Baeldung(Java 개발자용)

입문서 추천: “Learning Spark, 2nd Edition”, “Spark: The Definitive Guide”

커뮤니티: Stack Overflow apache-spark 태그, GitHub Issues

공식 문서#

Apache Spark 공식 사이트

Spark 공식 사이트 — 다운로드, 뉴스, 릴리즈 정보
Spark 3.5 문서 — 현재 안정 버전 문서
Spark 최신 문서 — 최신 버전 문서

프로그래밍 가이드