Quartz misfire 원인 분석: 외부 API retry 폭주로 인한 워커 기아
Quartz misfire를 단순 스케줄러 설정 문제로 보면 원인을 놓치기 쉽다. 실제로는 다른 잡의 retry 폭주가 worker를 잠식한 사례를 통해 진단 순서와 구조적 대응을 정리한 글이다.
상황
- 매시 정해진 시점에 실행돼야 하는
AirQualityTasklet이 돌지 않았고, 결과 데이터도 들어오지 않았다. AirQualityTasklet로그는 거의 없었고, 같은 시간대에FeelsLikeService로그만 비정상적으로 많았다.- 원인은 Quartz 밖에 있었다. 외부 API 호출이 잘못 분류된 retry를 타면서 FeelsLike 계열 작업이 worker를 점유했고, AirQuality 트리거가 발화 시점에 실행 자원을 받지 못해 misfire가 났다.
Quartz misfire는 스케줄러 바깥의 워커 기아(worker starvation)에서 오는 경우가 있다. misfire를 보면 Quartz 설정을 바꾸기 전에 누가 worker를 점유하고 있는지부터 확인한다.
misfire의 증상
- 잡이 돌아야 하는 시각에 결과 데이터가 들어오지 않는다
- 해당 잡의 에러 로그가 없다
- 잡 클래스명이 로그에 거의 나오지 않는다
잡이 실행됐다가 실패한 게 아니라, 트리거는 발화했지만 실행 기회를 받지 못한 상태일 수 있다. 그래서 해당 잡의 코드부터 보면 원인을 찾기 어렵다. 그 잡이 실행 전에 worker를 받았는지를 먼저 확인한다.
처음 의심하게 되는 것
- Quartz thread pool 설정이 너무 작은가
- misfire 정책이 잘못됐는가
- trigger 등록이 꼬였는가
- 특정 프로필에서 Quartz auto-startup이 다르게 동작하는가
Quartz 자동설정이나 프로필별 비활성화 설정이 원인인 경우도 실제로 있다. 이번에는 아니었다. 트리거는 존재했고, Quartz도 동작 중이었고, 스케줄러가 멈추지도 않았다. 같은 스케줄러의 다른 작업들이 worker를 먼저 다 차지하고 있었다.
단서: Quartz misfire 마커
잡 이름보다 Quartz가 남기는 misfire 마커를 먼저 찾는다.
1
o.s.s.quartz.LocalDataSourceJobStore: Handling N trigger(s) that missed their scheduled fire-time
이 로그가 매분 반복되면, 트리거는 있었지만 제때 실행하지 못했다는 뜻이다. 확인할 것은 두 가지다.
- misfire가 특정 시간대에만 있었는가
- 같은 시간대에 어떤 logger가 폭주했는가
misfire 로그는 원인이 아니라 worker 부족의 결과다.
CloudWatch 로그 분석
큰 로그 응답을 눈으로 읽지 않고, 분당 이벤트 수, logger 분포, 특정 키워드 유무를 먼저 뽑는다.
1. 분당 이벤트 수
1
2
jq -r '.events[] | (.timestamp + 9*3600*1000)/1000 | strftime("%H:%M")' \
| sort | uniq -c
분당 수백~수천 건이면 정상이 아니다. 잡 하나가 오래 걸리는 수준이 아니라 무언가 반복적으로 실패하고 있다는 신호다.
2. logger 분포
1
2
3
jq -r '.events[].message' \
| grep -oE 'c\.[a-z.]+\.[A-Z][A-Za-z]+' \
| sort | uniq -c | sort -rn | head
상위 logger 1~2개가 거의 모든 이벤트를 차지하면 그 logger가 원인일 가능성이 높다. 여기서 문제를 퍼뜨린 잡이 보인다.
3. misfire 된 잡 키워드 검색
정상 실행이면 잡의 클래스명이나 tasklet 이름이 로그에 남는다. 0건이면 잡이 시작도 못 했을 가능성이 높다.
AirQualityTasklet검색 결과: 0건FeelsLikeService검색 결과: 수백 건
이 패턴이면 AirQualityTasklet이 아니라 FeelsLike 쪽이 왜 worker를 점유하는지를 조사한다.
원인: 외부 API retry 폭주
- 특정 외부 API 클라이언트가 비정상 응답을 계속 받는다
- 애플리케이션은 이를 일반 예외로 본다
- 공통 retry 로직이 같은 요청을 반복한다
- 그 호출이 같은 dispatcher 또는 스케줄러 worker를 계속 점유한다
- 다른 트리거가 제시간에 발화해도 worker를 받지 못한다
- Quartz는 이를 misfire로 기록한다
misfire는 1차 원인이 아니라 2차 증상이었다. misfire 로그만 보고 Quartz thread pool을 늘리면 일시적으로는 덜 발생할 수 있지만, retry 폭주가 남아 있으면 더 큰 자원 위에서 같은 문제가 반복된다. Quartz는 정상 동작했고, worker를 구하지 못한 트리거를 misfire로 기록했을 뿐이다.
즉시 대응: retry 경계 재설정
thread 수를 늘리기 전에 폭주부터 멈춘다.
- 폭주를 만드는 잡의 retry 정책 확인
- 명백한 호출 계약 위반이나 명시적 fault를
NonRetryable로 분리 - max attempts 축소
- status code나 본문 fault 패턴을 먼저 확인해 재시도 대상에서 제외
이렇게 하면 worker가 풀리고 Quartz misfire도 줄어든다. retry 경계를 그대로 두고 Quartz 설정만 바꾸면 다시 발생한다.
구조적 대응: 잡별 격리와 동시성 제한
1. 잡별 dispatcher 분리
외부 API 잡 하나가 폭주해도 다른 잡과 자원을 공유하지 않게 한다. 모든 작업이 같은 Dispatchers.IO.limitedParallelism(N)이나 같은 worker pool을 쓰면 한쪽 문제가 다른 쪽으로 번진다.
2. 동시 호출 제한
retry가 붙은 외부 호출은 병렬도가 높을수록 영향 범위가 커진다. 동시성을 제한하면 실패가 시스템 전체로 번지는 속도를 늦출 수 있다.
3. 서킷 브레이커
같은 종류의 fault가 연속으로 나오면 재시도보다 일정 기간 차단하는 편이 안전하다. 제공자 쪽 장애나 인증 오류가 특히 그렇다.
스케줄러 안정성은 Quartz 설정만으로 보장되지 않고, 잡들이 공유하는 자원 모델까지 함께 설계해야 한다.
misfire 진단 체크리스트
- misfire 마커 로그가 반복되는가
- 같은 시간대 분당 이벤트 수가 비정상적으로 늘었는가
- 어떤 logger가 대부분의 이벤트를 차지하는가
- misfire 된 잡은 시작 로그조차 없는가
- 그 시간대에 retry 폭주 가능성이 있는 외부 호출이 있었는가
정리하면 다음과 같다.
- misfire는 Quartz 로그로 확인한다
- 원인은 로그 분포와 폭주량으로 찾는다
- 해결은 Quartz 튜닝보다 retry 경계와 자원 격리에서 시작한다