실습 예제 on Advanced Beginner

환경 설정

d8lzz1gpw@mozmail.com (kimbenji) — Sat, 10 Jan 2026 00:00:00 +0000

TL;DR

Gradle 의존성: spark-core_2.13:3.5.1, spark-sql_2.13:3.5.1

로깅 충돌 방지: exclude group: 'org.slf4j' 필수

SparkSession: getOrCreate()로 싱글톤 관리

Windows: winutils 설정 필요

대상 독자 및 선수 지식#

구분	내용
대상 독자	Java/Spring Boot 프로젝트에 Spark를 도입하려는 개발자
선수 지식	Java 17, Gradle 기본, Spring Boot 경험 (선택)
학습 목표	로컬 환경에서 Spark 애플리케이션을 실행할 수 있다
예상 소요 시간	약 15분

Java/Spring Boot 프로젝트에서 Spark를 사용하기 위한 환경을 구성합니다.

순수 Java 프로젝트#

가장 간단한 구성입니다.

기본 예제

d8lzz1gpw@mozmail.com (kimbenji) — Sat, 10 Jan 2026 00:00:00 +0000

TL;DR

CSV, JSON, Parquet, JDBC 등 다양한 데이터 소스 읽기/쓰기

DataFrame API로 필터, 변환, 집계, 조인 수행

SQL 쿼리와 DataFrame API 혼용 가능

실무 예제: NYC 택시 데이터, Kaggle 데이터셋 분석

대상 독자 및 선수 지식#

구분	내용
대상 독자	Spark DataFrame API를 처음 사용하는 Java 개발자
선수 지식	Java 기본 문법, SQL 기초, 환경 설정 완료
학습 목표	데이터 로딩, 변환, 집계, 조인, 저장을 수행할 수 있다
예상 소요 시간	약 30분

Spark의 핵심 기능을 활용하는 예제 코드입니다.

모니터링 설정

d8lzz1gpw@mozmail.com (kimbenji) — Sat, 10 Jan 2026 00:00:00 +0000

TL;DR

Spark UI: 실시간 작업 상태, 실행 계획, 메모리 사용량 확인 (:4040)

History Server: 종료된 애플리케이션 로그 분석 (:18080)

Prometheus + Grafana: 메트릭 수집 및 시각화, 알림 설정

커스텀 메트릭: 비즈니스 KPI (처리량, 실패율, 처리 시간) 추적

대상 독자 및 선수 지식#

구분	내용
대상 독자	Spark 애플리케이션을 운영하는 DevOps/데이터 엔지니어
선수 지식	Spark 기본 동작, 기본 예제 완료, Prometheus/Grafana 경험 (선택)
학습 목표	Spark 애플리케이션의 상태를 모니터링하고 문제를 진단할 수 있다
예상 소요 시간	약 35분

프로덕션 환경에서 Spark 애플리케이션을 안정적으로 운영하기 위한 모니터링 설정 가이드입니다.

Spring Boot 통합

d8lzz1gpw@mozmail.com (kimbenji) — Sat, 10 Jan 2026 00:00:00 +0000

TL;DR

SparkSession Bean: @Configuration으로 싱글톤 관리, @PreDestroy로 정리

프로파일 분리: local, production, test 환경별 Spark 설정

비동기 배치: @Async + CompletableFuture로 대용량 처리

REST API: DataFrame 결과를 JSON 응답으로 변환

대상 독자 및 선수 지식#

구분	내용
대상 독자	Spring Boot 애플리케이션에 Spark를 통합하려는 백엔드 개발자
선수 지식	Spring Boot 기초, 환경 설정 완료, Spark DataFrame API
학습 목표	Spring Boot에서 Spark를 활용한 데이터 분석 API를 구현할 수 있다
예상 소요 시간	약 40분

Java/Spring 개발자를 위한 Spark와 Spring Boot 통합 패턴입니다.

Delta Lake 통합

d8lzz1gpw@mozmail.com (kimbenji) — Sat, 10 Jan 2026 00:00:00 +0000

TL;DR

ACID 트랜잭션: 동시 쓰기 시에도 데이터 일관성 보장

시간 여행: 과거 버전 조회/복원으로 데이터 복구 가능

스키마 진화: mergeSchema 옵션으로 컬럼 추가 안전하게 처리

최적화: OPTIMIZE(파일 병합), Z-ORDER(쿼리 최적화), VACUUM(정리)

대상 독자 및 선수 지식#

구분	내용
대상 독자	데이터 레이크 아키텍처를 개선하려는 데이터 엔지니어
선수 지식	Spark DataFrame API, Parquet 포맷 이해, 기본 예제 완료
학습 목표	Delta Lake로 신뢰성 있는 데이터 레이크를 구축할 수 있다
예상 소요 시간	약 50분

Delta Lake를 활용하여 데이터 레이크에 ACID 트랜잭션, 스키마 관리, 시간 여행 기능을 추가합니다.

ETL 파이프라인

d8lzz1gpw@mozmail.com (kimbenji) — Sat, 10 Jan 2026 00:00:00 +0000

TL;DR

템플릿 메서드 패턴: Extract → Transform → Validate → Load 표준화

데이터 정제 유틸리티: 중복 제거, NULL 처리, 이상치 필터링

증분 ETL: 워터마크 기반 변경 데이터만 처리

재시도 로직: 실패 시 자동 재시도 및 날짜 범위 처리

대상 독자 및 선수 지식#

구분	내용
대상 독자	Spark로 데이터 파이프라인을 구축하려는 데이터 엔지니어
선수 지식	기본 예제 완료, Java/Spark DataFrame API
학습 목표	재사용 가능한 ETL 파이프라인을 설계하고 구현할 수 있다
예상 소요 시간	약 45분

프로덕션 환경에서 사용 가능한 완전한 ETL(Extract-Transform-Load) 파이프라인 예제입니다.