# Java 버전 확인
java -version

# Spark 버전 확인
spark-submit --version

# Spark UI 접근 확인 (애플리케이션 실행 중일 때)
curl -s http://localhost:4040/api/v1/applications | head -1

// 수백만 건의 데이터를 Driver로 수집 - OOM 발생!
List<Row> allData = df.collect();

// 1. take()로 제한된 수만 수집
List<Row> sample = df.take(1000);

// 2. 결과를 파일로 저장
df.write().parquet("output/result");

// 3. 집계 후 수집 (데이터량 감소)
Dataset<Row> summary = df.groupBy("category")
    .agg(count("*"), sum("amount"));
List<Row> result = summary.collect();  // 집계 결과만 수집

# spark-submit 사용 시
spark-submit --driver-memory 8g myapp.jar

# 코드에서 설정
SparkSession spark = SparkSession.builder()
    .config("spark.driver.memory", "8g")
    .getOrCreate();

// 기본값은 1g, 필요시 증가
.config("spark.driver.maxResultSize", "4g")

// 현재 파티션 수 확인
int numPartitions = df.rdd().getNumPartitions();
System.out.println("파티션 수: " + numPartitions);

// 파티션별 데이터 분포 확인
df.groupBy(spark_partition_id())
    .count()
    .orderBy(col("count").desc())
    .show(20);

// 파티션 수 증가 (셔플 발생)
Dataset<Row> repartitioned = df.repartition(200);

// 또는 coalesce로 감소 (셔플 없음, 증가는 불가)
Dataset<Row> coalesced = df.coalesce(100);

# spark-submit
spark-submit \
  --executor-memory 8g \
  --executor-cores 4 \
  myapp.jar

SparkSession spark = SparkSession.builder()
    .config("spark.memory.offHeap.enabled", "true")
    .config("spark.memory.offHeap.size", "4g")
    .getOrCreate();

// 문제: 1GB 테이블 브로드캐스트
df.join(broadcast(largeTable), "key");  // OOM!

// 해결: 브로드캐스트 임계값 확인
// 기본값 10MB, 초과하면 자동 브로드캐스트 안 함
.config("spark.sql.autoBroadcastJoinThreshold", "10485760")

// 문제: 각 행마다 새 객체 생성
df.withColumn("result", udf(row -> {
    List<String> huge = loadHugeList();  // 매번 생성!
    return process(row, huge);
}));

// 해결: foreachPartition에서 한 번만 생성
df.foreachPartition(partition -> {
    List<String> huge = loadHugeList();  // 파티션당 1번
    while (partition.hasNext()) {
        process(partition.next(), huge);
    }
});

// 문제: 전체 파티션에 대한 윈도우
WindowSpec unbounded = Window.partitionBy("user_id")
    .orderBy("timestamp")
    .rowsBetween(Window.unboundedPreceding, Window.unboundedFollowing);

// 해결: 윈도우 프레임 제한
WindowSpec bounded = Window.partitionBy("user_id")
    .orderBy("timestamp")
    .rowsBetween(-100, 100);  // 앞뒤 100개로 제한

# 로그에서 OOM 확인 (결과가 없으면 성공)
grep -i "outofmemory\|oom\|killed" spark-logs/*.log

# 예상 결과: 아무것도 출력되지 않음