Spring 로컬 캐시 운영 주의점: 멀티 인스턴스 무효화, 캐시 우회, Ehcache offheap
Spring 로컬 캐시를 운영에 올릴 때 자주 놓치는 무효화, 멀티 인스턴스 일관성, 검증 우회, Ehcache offheap 직렬화 함정을 정리한 글입니다.
상황
- 관리자 화면에서 값을 수정했는데 사용자 요청에는 예전 데이터가 계속 내려왔다.
@CacheEvict와 TTL을 설정했지만, 어떤 인스턴스는 새 값을, 어떤 인스턴스는 예전 값을 반환했다.
로컬 캐시를 운영에 올리면 성능 외에 일관성, 검증 가능성, 관측 가능성 문제가 함께 생긴다. 이 글에서 정리하는 내용은 다음 세 가지다.
@CacheEvict와 TTL만으로는 멀티 인스턴스 일관성을 해결할 수 없다- 운영에서는 완벽한 무효화보다 특정 요청만 원본을 보게 하는 장치가 더 자주 필요하다
- Ehcache offheap는 메모리 최적화 옵션이 아니라 직렬화 정책이다
캐시가 추가하는 질문
캐시가 없을 때의 흐름:
- 요청이 들어온다
- 애플리케이션이 원본 데이터 소스에 접근한다
- 결과를 가공해 반환한다
캐시가 들어오면 “지금 보는 값이 원본인가, 어느 시점의 복사본인가”라는 질문이 생긴다. 단일 인스턴스에서는 캐시가 메모리 최적화에 가깝지만, 인스턴스가 여러 대면 다음 질문이 추가된다.
- 값이 언제 갱신됐는가
- 지금 보는 값이 모든 인스턴스에서 같은가
- 관리자가 수정한 값이 왜 아직 반영되지 않는가
- 장애 상황에서 현재 응답이 원본인지 캐시인지 어떻게 구분하는가
로컬 캐시는 응답을 빠르게 하지만 시스템 상태를 파악하기 어렵게 만들고, 그 복잡성이 인스턴스 수만큼 늘어난다.
멀티 인스턴스에서 @CacheEvict는 로컬에서만 동작한다
Spring 캐시의 기본 패턴:
- 조회에는
@Cacheable - 변경에는
@CacheEvict
단일 인스턴스에서는 같은 JVM에서 읽고 지우기 때문에 잘 동작한다. 멀티 인스턴스에서는 evict가 시스템 전체 무효화가 아니다.
인스턴스가 세 대인 경우:
- 인스턴스 A가 관리자 변경 요청을 처리하고
@CacheEvict를 실행한다 - 인스턴스 B와 C는 계속 사용자 요청을 처리한다
A의 로컬 캐시는 비워지지만 B와 C의 캐시는 그대로다. 로컬 캐시는 인스턴스별 사본이므로 이것은 정상 동작이다.
그래서 구현 전에 기대치를 정한다.
- 모든 인스턴스에서 즉시 같은 값이 보여야 하는가
- 일정 시간 stale을 허용할 수 있는가
무효화보다 자주 필요한 것: 호출 단위 캐시 우회
운영에서는 캐시를 완벽히 지우는 것보다 특정 요청 한 번만 원본을 보게 하는 방법이 더 자주 필요했다.
- 어드민에서 값을 수정한 뒤 바로 반영 여부를 확인할 때
- 배치가 데이터를 넣은 직후 결과를 검증할 때
- 외부 ETL이나 시드 작업 이후 stale 응답인지 구분할 때
TTL을 짧게 줄이면:
- 평소 부하가 커진다
- 캐시 효과가 거의 사라진다
- 검증 문제가 시스템 전체 성능 문제가 된다
중앙 캐시로 전환하는 방법도 있지만 별도 마일스톤이 필요한 경우가 많다. 그래서 호출 단위 우회 스위치를 썼다.
1
2
3
4
5
6
@Cacheable(
value = ["my_cache"],
key = "#locale.toLanguageTag()",
condition = "!#noCache"
)
fun getData(locale: Locale, noCache: Boolean = false): MyResponse { ... }
condition = "!#noCache"를 쓰면 noCache=true인 호출만 캐시 조회와 저장을 모두 건너뛴다.
- 기존 캐시 엔트리를 건드리지 않는다
- 운영자가 원본 데이터를 바로 검증할 수 있다
- 비운영 환경에서는 기본값을 우회로 두면 검증이 편하다
캐시 실패가 드러나지 않는 경우
외부 API 결과를 prefetch해 캐시에 넣는 구조에서:
- 외부 호출은 성공했다
- 캐시에 쓰는 과정에서 문제가 생겼다
- 요청은 원본 경로를 다시 타서 응답은 정상으로 나간다
사용자는 서비스를 그대로 쓰고, 모니터링에도 에러가 잡히지 않을 수 있다. 운영자는 “왜 계속 느리지?”, “왜 특정 인스턴스만 이상하지?” 같은 현상만 보게 된다. 로컬 캐시는 데이터 경로가 하나 더 생기는데 그 경로가 잘 보이지 않는다.
TTL과 key 설계 외에 확인할 것:
- 캐시 write 실패를 로그로 남기는가
- 현재 응답이 캐시 히트인지 알 수 있는가
- 운영자가 원본을 직접 검증할 수 있는 우회 수단이 있는가
- 멀티 인스턴스 일관성 기대치가 문서화돼 있는가
Ehcache offheap는 직렬화 정책이다
offheap를 켜면 메모리 위치뿐 아니라 직렬화 방식도 정해진다.
1
2
3
4
5
<cache alias="x">
<resources>
<offheap unit="MB">5</offheap>
</resources>
</cache>
offheap에 저장하려면 캐시 객체가 직렬화돼야 한다. Kotlin data class나 Java DTO가 Serializable을 구현하지 않으면 첫 write에서 예외가 난다. 이 예외는 서비스 실패로 드러나지 않을 수 있다.
- 요청은 성공한다
- 캐시 저장만 실패한다
- WARN 로그만 남는다
offheap를 켜기 전에 확인할 것:
- 캐시에 들어가는 타입이 모두 직렬화 가능한가
- nested object까지 일관되게 관리되는가
- 이 크기의 데이터에 offheap가 필요한가
작은 응답 캐시는 heap entries 기반이 더 단순하고 안전한 경우가 많다. 멀티 인스턴스 일관성이 중요하면 로컬 offheap 최적화보다 중앙 캐시 전환을 검토한다.
로컬 캐시를 써도 되는 경우
- 단일 인스턴스이거나 인스턴스 간 stale 차이를 허용할 수 있을 때
- 응답 데이터가 작고 단순할 때
- 운영자가 원본 검증 경로를 쉽게 확보할 수 있을 때
- cache miss 비용은 크고 stale 비용은 작을 때
- 즉시 전체 반영이 비즈니스 요구사항이 아닐 때
로컬 캐시를 다시 검토해야 하는 경우
- 관리자 변경 후 즉시 반영이 중요할 때
- 멀티 인스턴스 간 일관성이 중요할 때
- 캐시 write 실패를 바로 감지하기 어려울 때
- 외부 API, 배치, 시드 결과를 운영 중 자주 검증해야 할 때
- 캐시 정책보다 운영 절차가 더 복잡해질 때
이 경우는 캐시 자체가 아니라 로컬 캐시라는 선택이 시스템 기대치와 맞지 않는 것이다.
TTL보다 먼저 정할 것
- stale 데이터를 누가 얼마나 허용할 수 있는가
- 데이터가 바뀌었을 때 누가 검증해야 하는가
- 검증을 위해 캐시를 우회할 수 있는가
- 캐시 일관성을 인스턴스 단위로 볼 것인가, 시스템 단위로 볼 것인가
- 캐시 장애를 장애로 감지할 수 있는가
로컬 캐시는 코드와 설정 몇 줄로 붙일 수 있지만, 그 뒤로 시스템은 원본과 인스턴스별 사본으로 동작한다. 언제 캐시를 믿고 언제 우회할지를 먼저 정해야 한다.