포스트

Spring 로컬 캐시 운영 주의점: 멀티 인스턴스 무효화, 캐시 우회, Ehcache offheap

Spring 로컬 캐시를 운영에 올릴 때 자주 놓치는 무효화, 멀티 인스턴스 일관성, 검증 우회, Ehcache offheap 직렬화 함정을 정리한 글입니다.

상황

  • 관리자 화면에서 값을 수정했는데 사용자 요청에는 예전 데이터가 계속 내려왔다.
  • @CacheEvict와 TTL을 설정했지만, 어떤 인스턴스는 새 값을, 어떤 인스턴스는 예전 값을 반환했다.

로컬 캐시를 운영에 올리면 성능 외에 일관성, 검증 가능성, 관측 가능성 문제가 함께 생긴다. 이 글에서 정리하는 내용은 다음 세 가지다.

  • @CacheEvict와 TTL만으로는 멀티 인스턴스 일관성을 해결할 수 없다
  • 운영에서는 완벽한 무효화보다 특정 요청만 원본을 보게 하는 장치가 더 자주 필요하다
  • Ehcache offheap는 메모리 최적화 옵션이 아니라 직렬화 정책이다

캐시가 추가하는 질문

캐시가 없을 때의 흐름:

  1. 요청이 들어온다
  2. 애플리케이션이 원본 데이터 소스에 접근한다
  3. 결과를 가공해 반환한다

캐시가 들어오면 “지금 보는 값이 원본인가, 어느 시점의 복사본인가”라는 질문이 생긴다. 단일 인스턴스에서는 캐시가 메모리 최적화에 가깝지만, 인스턴스가 여러 대면 다음 질문이 추가된다.

  • 값이 언제 갱신됐는가
  • 지금 보는 값이 모든 인스턴스에서 같은가
  • 관리자가 수정한 값이 왜 아직 반영되지 않는가
  • 장애 상황에서 현재 응답이 원본인지 캐시인지 어떻게 구분하는가

로컬 캐시는 응답을 빠르게 하지만 시스템 상태를 파악하기 어렵게 만들고, 그 복잡성이 인스턴스 수만큼 늘어난다.

멀티 인스턴스에서 @CacheEvict는 로컬에서만 동작한다

Spring 캐시의 기본 패턴:

  • 조회에는 @Cacheable
  • 변경에는 @CacheEvict

단일 인스턴스에서는 같은 JVM에서 읽고 지우기 때문에 잘 동작한다. 멀티 인스턴스에서는 evict가 시스템 전체 무효화가 아니다.

인스턴스가 세 대인 경우:

  • 인스턴스 A가 관리자 변경 요청을 처리하고 @CacheEvict를 실행한다
  • 인스턴스 B와 C는 계속 사용자 요청을 처리한다

A의 로컬 캐시는 비워지지만 B와 C의 캐시는 그대로다. 로컬 캐시는 인스턴스별 사본이므로 이것은 정상 동작이다.

그래서 구현 전에 기대치를 정한다.

  • 모든 인스턴스에서 즉시 같은 값이 보여야 하는가
  • 일정 시간 stale을 허용할 수 있는가

무효화보다 자주 필요한 것: 호출 단위 캐시 우회

운영에서는 캐시를 완벽히 지우는 것보다 특정 요청 한 번만 원본을 보게 하는 방법이 더 자주 필요했다.

  • 어드민에서 값을 수정한 뒤 바로 반영 여부를 확인할 때
  • 배치가 데이터를 넣은 직후 결과를 검증할 때
  • 외부 ETL이나 시드 작업 이후 stale 응답인지 구분할 때

TTL을 짧게 줄이면:

  • 평소 부하가 커진다
  • 캐시 효과가 거의 사라진다
  • 검증 문제가 시스템 전체 성능 문제가 된다

중앙 캐시로 전환하는 방법도 있지만 별도 마일스톤이 필요한 경우가 많다. 그래서 호출 단위 우회 스위치를 썼다.

1
2
3
4
5
6
@Cacheable(
    value = ["my_cache"],
    key = "#locale.toLanguageTag()",
    condition = "!#noCache"
)
fun getData(locale: Locale, noCache: Boolean = false): MyResponse { ... }

condition = "!#noCache"를 쓰면 noCache=true인 호출만 캐시 조회와 저장을 모두 건너뛴다.

  • 기존 캐시 엔트리를 건드리지 않는다
  • 운영자가 원본 데이터를 바로 검증할 수 있다
  • 비운영 환경에서는 기본값을 우회로 두면 검증이 편하다

캐시 실패가 드러나지 않는 경우

외부 API 결과를 prefetch해 캐시에 넣는 구조에서:

  • 외부 호출은 성공했다
  • 캐시에 쓰는 과정에서 문제가 생겼다
  • 요청은 원본 경로를 다시 타서 응답은 정상으로 나간다

사용자는 서비스를 그대로 쓰고, 모니터링에도 에러가 잡히지 않을 수 있다. 운영자는 “왜 계속 느리지?”, “왜 특정 인스턴스만 이상하지?” 같은 현상만 보게 된다. 로컬 캐시는 데이터 경로가 하나 더 생기는데 그 경로가 잘 보이지 않는다.

TTL과 key 설계 외에 확인할 것:

  • 캐시 write 실패를 로그로 남기는가
  • 현재 응답이 캐시 히트인지 알 수 있는가
  • 운영자가 원본을 직접 검증할 수 있는 우회 수단이 있는가
  • 멀티 인스턴스 일관성 기대치가 문서화돼 있는가

Ehcache offheap는 직렬화 정책이다

offheap를 켜면 메모리 위치뿐 아니라 직렬화 방식도 정해진다.

1
2
3
4
5
<cache alias="x">
  <resources>
    <offheap unit="MB">5</offheap>
  </resources>
</cache>

offheap에 저장하려면 캐시 객체가 직렬화돼야 한다. Kotlin data class나 Java DTO가 Serializable을 구현하지 않으면 첫 write에서 예외가 난다. 이 예외는 서비스 실패로 드러나지 않을 수 있다.

  • 요청은 성공한다
  • 캐시 저장만 실패한다
  • WARN 로그만 남는다

offheap를 켜기 전에 확인할 것:

  1. 캐시에 들어가는 타입이 모두 직렬화 가능한가
  2. nested object까지 일관되게 관리되는가
  3. 이 크기의 데이터에 offheap가 필요한가

작은 응답 캐시는 heap entries 기반이 더 단순하고 안전한 경우가 많다. 멀티 인스턴스 일관성이 중요하면 로컬 offheap 최적화보다 중앙 캐시 전환을 검토한다.

로컬 캐시를 써도 되는 경우

  • 단일 인스턴스이거나 인스턴스 간 stale 차이를 허용할 수 있을 때
  • 응답 데이터가 작고 단순할 때
  • 운영자가 원본 검증 경로를 쉽게 확보할 수 있을 때
  • cache miss 비용은 크고 stale 비용은 작을 때
  • 즉시 전체 반영이 비즈니스 요구사항이 아닐 때

로컬 캐시를 다시 검토해야 하는 경우

  • 관리자 변경 후 즉시 반영이 중요할 때
  • 멀티 인스턴스 간 일관성이 중요할 때
  • 캐시 write 실패를 바로 감지하기 어려울 때
  • 외부 API, 배치, 시드 결과를 운영 중 자주 검증해야 할 때
  • 캐시 정책보다 운영 절차가 더 복잡해질 때

이 경우는 캐시 자체가 아니라 로컬 캐시라는 선택이 시스템 기대치와 맞지 않는 것이다.

TTL보다 먼저 정할 것

  • stale 데이터를 누가 얼마나 허용할 수 있는가
  • 데이터가 바뀌었을 때 누가 검증해야 하는가
  • 검증을 위해 캐시를 우회할 수 있는가
  • 캐시 일관성을 인스턴스 단위로 볼 것인가, 시스템 단위로 볼 것인가
  • 캐시 장애를 장애로 감지할 수 있는가

로컬 캐시는 코드와 설정 몇 줄로 붙일 수 있지만, 그 뒤로 시스템은 원본과 인스턴스별 사본으로 동작한다. 언제 캐시를 믿고 언제 우회할지를 먼저 정해야 한다.

이 기사는 저작권자의 CC BY 4.0 라이센스를 따릅니다.