대용량 트래픽 아니면 안 보셔도 됩니다! 선물하기 서비스 캐싱 전략 / if(kakaoAI)2024
if kakao 카카오 · YouTube
AI 핵심 요약
프로야구 굿즈 프로모션에서 예상보다 큰 트래픽이 발생하자, 캐시 만료 시 요청이 연관 서비스로 몰리는 캐시 스탬피드와 리모트 캐시 부하를 줄이는 전략을 마련했습니다. 변경이 드문 소형 데이터에는 로컬 캐시와 리모트 캐시를 함께 쓰고, ZooKeeper watch 이벤트로 각 서버의 로컬 캐시를 무효화했으며, 프로모션 페이지는 Redis에 저장한 최근 호출 시점과 누적 호출량으로 인기 대상을 자동 선별해 캐시를 웜업했습니다. RabbitMQ의 메시지 TTL과 데드 레터 큐를 활용해 중요 프로모션의 캐시를 초 단위로 갱신했고, 발표에서는 자동 웜업 적용 후 API 호출이 36.8%, DB 쿼리가 최대 99.5% 감소했다고 설명했습니다. 캐싱에는 보편적인 정답이 없으므로 데이터의 크기와 변경 빈도, 트래픽 패턴 등 도메인 특성에 맞춰 설계하고 검증해야 한다는 점을 강조했습니다.
- 캐시 TTL을 늘리는 것만으로는 이벤트 상품의 최신성을 보장하기 어렵고, 분산 락은 대기 요청의 응답 지연을 유발할 수 있습니다.
- 개인화되지 않고 크기가 작으며 변경이 드문 데이터는 로컬 캐시에 두고, 리모트 캐시를 중앙 저장소로 활용하는 하이브리드 구성이 효과적입니다.
- 여러 인스턴스의 로컬 캐시를 즉시 무효화해야 한다면 ZooKeeper의 watch 이벤트처럼 기존 분산 코디네이션 기능을 활용할 수 있습니다.
- 프로모션의 인기도는 누적 호출량과 최근 호출 시점을 함께 보고, 꾸준히 인기 있는 유형과 순간적으로 급증하는 유형에 서로 다른 가중치를 적용할 수 있습니다.
- RabbitMQ의 메시지 TTL과 데드 레터 큐를 이용하면 초 단위 작업 트리거를 구성할 수 있습니다.
소개
리모트캐시의 부담을 덜기 위한 하이브리드 캐시, 선물하기만의 특성을 담은 유저 선호 데이터를 자동으로 감지하는 캐시 웜업 자동화. 초 단위 갱신으로 항상 최신 데이터를 서빙하는 캐시 웜업 등 선물하기 서비스에서 대량 트래픽을 견디기 위해 고안한 다양한 캐싱 전략을 공유합니다. #cache #트래픽 카카오 선물하기를 개발하는 Everett과 Joy입니다. 발표자료 보기 👉 https://speakerdeck.com/kakao/ifkakao24-80 if(kakaoAI)2024에 대한 자세한 정보는 👉 https://if.kakao.com #카카오 #이프카카오 #개발자컨퍼런스 #AI #기술 #개발 #ifkakaoAI2024
비슷한 학습 자료
컨퍼런스 if kakao
무엇이든 로봇 배송! 진짜 되는 플랫폼 이야기 / if(kakaoAI)2024
컨퍼런스 if kakao
로봇과 다양한 서비스를 연결시키는 중심점이 되어 어떤 서비스라도, 어떤 로봇이라도 원하는 로봇배송 서비스를 구축할 수 있는 플랫폼 개발 이야기를 소개합니다. #robot #platform #backend #ml 카카오모빌리티에서 로봇배송 서비스를 개발하고 있는 Leon입니다. 카카오모빌리티에서 로봇배송 서비스를 개발하고 있는 Spike입니다. 카카오모빌리티에서 로봇배송 서비스를 개발하고 있는 Scene입니다. 발표자료 보기 👉 https://speakerdeck.com/kakao/ifkakao24-65 if(kakaoAI)2024에 대한 자세한 정보는 👉 https://if.kakao.com #카카오 #이프카카오 #개발자컨퍼런스 #AI #기술 #개발 #ifkakaoAI2024
백엔드 AI에이전트 개발
컨퍼런스 if kakao
선물하기 프론트엔드 성능 개선기 / if(kakaoAI)2024
컨퍼런스 if kakao
선물하기 프론트엔드 성능을 개선하면서 고민 했던 것들 그리고 적용한 기술들에 대해 공유하고자 합니다. #front-end #angular #웹 성능 선물하기 서비스에서 프론트엔드 개발을 하고 있는 Fleek입니다. 유저에게 더 나은 서비스 경험을 선사하기 위해 늘 노력합니다. 발표자료 보기 👉 https://speakerdeck.com/kakao/ifkakao24-35 if(kakaoAI)2024에 대한 자세한 정보는 👉 https://if.kakao.com #카카오 #이프카카오 #개발자컨퍼런스 #AI #기술 #개발 #ifkakaoAI2024
웹 개발 프론트엔드
컨퍼런스 if kakao
업무 효율화를 위한 카카오 사내봇 개발기 / if(kakaoAI)2024
컨퍼런스 if kakao
카카오 내에 수많은 데이터에서 원하는 데이터를 빠르게 찾아주는 '0depth 사내봇 개발기'를 공유합니다. #Data #AI #LLM #RAG 카카오 데이터 조직의 Tory입니다. 실용적이고 사용자 친화적인 AI Application을 만드는 것에 관심이 많습니다. 카카오 내에 다양한 AI 프로덕트를 생산하는 Jennie입니다. 발표자료 보기 👉 https://speakerdeck.com/kakao/ifkakao24-27 if(kakaoAI)2024에 대한 자세한 정보는 👉 https://if.kakao.com #카카오 #이프카카오 #개발자컨퍼런스 #AI #기술 #개발 #ifkakaoAI2024
AI에이전트 개발
컨퍼런스 if kakao
LLM 서빙하기 / if(kakaoAI)2024
컨퍼런스 if kakao
LLM 서빙 프레임워크 도입 경험과 프레임워크 성능 최적화 기술을 쉽게 설명합니다. #LLM 서빙 프레임워크 카카오페이 선행기술개발TF팀에서 AI 서비스를 개발하고 있는 Ari입니다. 카카오페이 선행기술개발TF팀에서 금융관련 모델을 개발하고 있는 Kyou입니다. 발표자료 보기 👉 https://speakerdeck.com/kakao/ifkakao24-20 if(kakaoAI)2024에 대한 자세한 정보는 👉 https://if.kakao.com #카카오 #이프카카오 #개발자컨퍼런스 #AI #기술 #개발 #ifkakaoAI2024
데브옵스 · 인프라 딥러닝 · 머신러닝
컨퍼런스 if kakao
카카오i를 통한 AIOT 서비스의 사례와 미래 / if(kakaoAI)2024
컨퍼런스 if kakao
모든 요소기술들을 아우를 수 있는 미래 먹거리로써 사물인터넷에 연결되는 스마트 디바이스와 클라우드 플랫폼, 그리고 서비스에 인공지능이 접목된 지능화된 사물인터넷(Artificial Intelligence of Things, AIoT)이 부각되는 시대. 사람과 사물이 경계없이 연결하기 위한 카카오i의 AIOT플랫폼의 구조와 현재, 방향, 고민에 대해 공유합니다. #AIoT 디케이테크인의 AI공통플랫폼팀에서 kakaoi 대화형플랫폼 개발을 하고 있는 Ramsy와 Tristan입니다. 발표자료 보기 👉 https://speakerdeck.com/kakao/ifkakao24-2 if(kakaoAI)2024에 대한 자세한 정보는 👉 https://if.kakao.com #카카오 #이프카카오 #개발자컨퍼런스 #AI #기술 #개발 #ifkakaoAI2024
인공지능 기타 네트워크
컨퍼런스 if kakao
대용량 지표 관리를 위한 TSDB 개발기 / if(kakao)2022
컨퍼런스 if kakao
무중단 확장이 가능한 prometheus 호환 Time series DBMS인 TSCoke에 대한 소개와, 성능 최적화 과정에 대해 소개합니다. #TSCoke 카카오 분산기술셀에서 분산 스토리지 플랫폼을 개발하는 야누 입니다. 발표자료 보기 👉https://speakerdeck.com/kakao/ifkakao22-29 if(kakao)2022에 대한 자세한 정보는 👉 https://if.kakao.com if(kakao)2022에 대한 문의는 👉 if@kakaocorp.com #카카오 #이프카카오 #개발자컨퍼런스 #기술 #개발 #ifkakao2022
데이터베이스 데브옵스 · 인프라