Recent Posts

한국어 버전

This is a space where I document real-world problems I faced, how I solved them, and the insights I gained along the way.

Most posts are written in a relaxed, conversational tone. I aim to systematize knowledge through documentation and keep it as a reference I can revisit later.

Recent Posts

0 notes

2026-06-06 PLG + API qps 대시보드 PLG(Promtail, Loki, Grafana) 기반으로 로그와 API 처리량을 같이 볼 수 있도록 대시보드를 구성해봄. 처음에는 그냥 로그만 쌓을려고했는데 좀 더 나아가서 API qps 가 튀는 시점, Redis Stream lag 이 쌓이는 시점, 슬로우 쿼리가 발생하는 시점을 같이 봐야 병목이 어디서 시작됐는지 세부 모니터링을 구성함. 따로 Datadog 이나 Sentry, 와탭을 붙이면 관리와 유지보수가 훨씬 편하겠지만 먼저 돈 안드는 grafana 로 해봄. 그래서 이번에는 로그 검색, consumer group lag, API latency, query percentile 을 한 화면에서 볼 수 있도록 정리. 장애가 ...
2026-05-28 Exactly Once Semantics 을 위해서 Kafka Exactly Once Semantics는 메시지가 정확히 한 번만 소비된다는 뜻이 아니다. Kafka 내부에서 offset commit과 downstream topic publish를 하나의 transaction으로 묶어 결과 중복을 막는 기능에 가깝고, 외부 side effect는 별도 멱등 설계가 필요하다.
2026-05-21 Redis BigKey Issue Redis BigKey 문제는 단순히 메모리를 많이 먹는 키 하나의 문제가 아니다. 싱글스레드 이벤트 루프, 네트워크 전송량, eviction, replication, cluster slot 불균형까지 같이 터질 수 있는 운영 이슈다.
2026-05-12 Kafka KIP-848 는 왜 등장했을까? 서론 Sharding 관련 리밸런싱 알고리즘을 설계하다보니 자연스럽게 Kafka 리밸런싱 레퍼런스를 찾아보게되었다.
2026-05-03 Redis Stream Sharding 최근에 계속 관심있게 보고있는건 Redis 5.0 부터 추가된 stream 큐이다. (6.2) autoclaim 추가되면서 idletime 기반 claim 편의성이 증가했고 (8.2) 에서 xackdel 추가 및 ACKED 옵션으로 큐 용량관리가 빨리지고 용이해졌다. (8.
2026-02-11 Coroutine and VirutalThread 코루틴 매우 편리하고 콜백 지옥도 크게 해소되었다. 그런데 기존 Virtual Thread 와는 어떤 성능적 차이가 있는지 궁금해져서 찾아보았다. 에서 아래와 같이 말한다.
2026-02-05 cloudflare tunnel 로 댓글 홈서버 운영 및 자동화 방명록 홈서버 구축 과정 도메인 구매 및 네임서버를 cloudflare 로 두고 홈서버에 tunnel 설정 FastAPI + SQLite 방명록 서버 github action self hosted runner 홈서버로 배포 자동화 로컬에서도 테스트 가능하도록 설정 원격작업...
2026-01-24 Hotspot VM 의 JIT 컴파일러와 GraalVM JIT 컴파일러 탄생배경 및 정의 자바는 bytecode 명령어로 이루어진 .class 까지 javac 로 컴파일링 한 뒤 JVM 위에서 한 줄씩 bytecode binary code 로 interpreting 한다.
2026-01-18 최종 정리 이번에 토스 러너스 하이 2기 프로그램에 참여하게 되었고, 결과 발표 시점에 이전 직장에서 경영 악화로 개발 조직이 해체되는 상황을 겪었습니다.
2026-01-17 메모리 사용률 50% 임계값 alert 및 파티셔닝 전/후 메모리 부하 분산 확인 SUMMARY 파티셔닝 전/후 메모리 부하 분산 확인 임계치 초과 시 slack alert 과정 maxlen 근사치면, produce 하기전에 에러 반환하도록 하였습니다.
2026-01-14 컨슈머 재정리 로직 개선 및 cdl 개별 interval/retry 설정값 적용 메인로직에서 CDL 분리시키고 해당 큐에선 좀 더 retry 해본 뒤 느리게 천천히 소비되도록 설정하였습니다. 또한 /actuator/prometheus 에 값 갱신 업데이트 및 scrap 해상도를 임시로 1초로 설정해서 테스트에 용이하도록 하였습니다.
2026-01-12 aws-secret/bus-refresh 직접구현은 매우 비효율적. CDL 로 max retry 이후 전송되는 것 관측 summary 1. redis pub/sub 으로 실무 busrefresh 구현의 한계점으로 인한 3가지 대안 모색 2. 큐 - CDL 데이터 넘어가는 것 관측 3.
2026-01-09 추가적인 모니터링 지표들과 stream 크기 동적 확장을 위한 버스 리프레시 구현(redis pub/sub) Stream group 별 pending 개수, lag 개수 XADD/sec, XACK/sec consume 처리지연시간(consuming 하는 시점에서 현재시간과 produced 시간대 - 한 지표 쏘기).
2026-01-05 실패 메세지 재처리 시 중복방지를 위한 XAUTOCLAIM lua 구현 Spring Boot Data Redis 3.5.6 XAUTOCLAIM 미지원으로 인한 lua 구현 2022년부터 xautoclaim 지원 요청이 있었지만 아직 지원하고 있지 않습니다.
2026-01-03 stream key size 확인 stream 10MB 증가량 만큼 정상적으로 노드 메모리 집계되는 것을 확인할 수 있습니다.
2026-01-01 Consumer 제거 필요 및 stream 별 redis node 메모리 사용량 모니터링 추가 현재 서버 배포 시 consumer 재기동 하며 이 떄 consumer-id 가 변하도록 설정하였습니다.
2025-12-31 Redis Stream 모니터링 API 안에 lag 데이터까지 가져와서 확인하기 redis 8.2 버전에선 lag 데이터를 같이 전달해주지만, 최신의 spring data redis 에선(3.5.x or 4.0.x) lag 정보를 파싱해주지 않아서 직접 lua script 로 lag 정보를 가져온 뒤 파싱해주어야합니다. spring data redis 4.
2025-12-30 Redis Stream 내부 메세지 모니터링 pagination Cursor pagination 메세지 조회 모니터링 페이지 제작 기존에 redis stream 메세지 모니터링이 너무 불편했습니다. Intellij 로 redis cluster 접속해서 stream 확인하는데 메세지 수가 많으면 뒤에 메세지 확인하는게 너무 느렸습니다.
2025-12-29 CDC table change event 소스 테이블의 스키마가 변경되면? CDC 수행 중 소스 테이블 스키마가 변경되면, Debezium은 변경 이후의 전체 테이블 스키마 정보를 포함한 change event를 생성합니다.
2025-12-29 Arxiv 서버 헬스체크 Arxiv API 는 꽤 자주 다운되는 편입니다. 차후 이중화가 필요할 것 같습니다. 일단 현재는 헬스체크를 통해 서비스 상태를 모니터링하도록 설정했습니다. 여기에도 알람을 붙여야겠죠? 추가적으로 iframe 으로 해당 상태체크 페이지를 직접 랜더링 해서 모니터링 시켰습니다.