AI 도입에서 극적인 비용절감, 효율화 달성하기
당근 밋업 당근 · YouTube
AI 핵심 요약
당근의 엔지니어들은 반복되는 온콜 조사와 LLM 호출 비용을 줄이기 위해 AI 도구를 업무 흐름에 적용했다. 아이덴티티 팀은 Sentry 알림을 시작점으로 GitHub·서버 로그·BigQuery 조회 MCP를 연결한 ‘에러 박사’를 만들어 오류 원인 파악을 돕고, 온콜에 계획하던 시간이 체감상 주 8시간에서 4시간으로 줄었다고 설명했다. 채팅팀에서는 임베딩 벡터 유사도로 추천 메시지를 재사용하는 시맨틱 캐싱을 도입해 LLM 호출 비용을 연간 25% 절감하는 방안을 다뤘으며, 실시간성을 고려해 포드 내부에 벡터 저장소를 두는 구조를 택했다. 두 사례 모두 AI의 답을 무조건 신뢰하지 않고 사람이 검토하도록 했으며, 개인정보는 코드에서 필터링하는 등 보안 경계를 명확히 해야 한다는 점을 강조했다.
- 반복적인 온콜 문의는 로그·코드·데이터 조회 도구를 MCP로 연결해 에이전트가 초기 조사와 요약을 맡도록 구성할 수 있다.
- 에이전트의 분석은 틀릴 수 있다고 전제하고, 사람이 맥락을 확인해 대응 여부를 판단해야 한다.
- 개인정보를 다루는 시스템에서는 모델에 맡겨 제거하기보다 코드에서 민감 필드를 필터링하고 조회·응답 범위를 제한하는 편이 안전하다.
- 시맨틱 캐싱은 문장을 임베딩 벡터로 바꿔 유사한 입력을 재사용하므로, 정확히 같은 키만 찾는 일반 캐시와 다른 방식으로 LLM 호출을 줄인다.
- 실시간 서비스에서는 별도 벡터 DB의 운영 부담과 네트워크 비용을 고려해, 컨테이너 내부에 임베딩 저장소를 두는 단순한 구조도 선택지가 된다.
소개
책 구입: https://www.aladin.co.kr/shop/wproduct.aspx?ItemId=372710393 주제: AI 도입에서 극적인 비용절감, 효율화 달성하기 출연진 - Aio(아이오): 서비스 운영실 머신러닝 엔지니어 - Capel(카펠): 채팅팀 서버 엔지니어 - Brave(브레이브): 아이덴티티 서비스팀 소프트웨어 엔지니어 - Key(키): 아이덴티티 서비스팀 소프트웨어 엔지니어
비슷한 학습 자료
컨퍼런스 당근 밋업
CS 도메인에서 AI로 압도적인 사용자 경험 제공하기
컨퍼런스 if kakao
if(kakao)25 GPU 도입부터 LLMOps 구축, 그리고 이를 기반으로 LLM을 활용한 AI 에이전트 및 워크플로우 개발을 위한 플랫폼 개발 과정을 소개합니다. #TECH #AI #LLM 카카오페이에서 DevOps 업무를 담당하고 있는 유수지(stella.yu)입니다. 카카오페이에서 서버개발을 담당하고 있는 최원호(wayne.cai)입니다. AI Native 업무에 관심이 많습니다. 발표자료 보기 📍https://if.kakao.com/2025/session?sessionId=42 📍if.kakao.com if(kakao)25 홈페이지 : https://if.kakao.com/2025 #카카오 #kakao #이프카카오25
데브옵스 · 인프라 AI에이전트 개발
컨퍼런스 if kakao
Preview AI_1 @if(kakao)2021
컨퍼런스 if kakao
if (kakao) 2021 컨퍼런스에서 AI 관련 기술 발표 세션을 소개합니다. 1. TensorFlow Serving보다 10배 빠르게 서빙하기 @jesse.ha 텐서플로우로 만든 딥러닝 모델을 서비스에서 사용하기 위해 인퍼런스 서버를 구축하는 과정에서 코드 레벨/도메인 레벨/Layer Fusion/구현 레벨 등 다양한 관점에서의 최적화를 통해 TensorFlow Serving보다 10배 빠르게 만든 과정을 공유합니다. 2. ML로 기프트권 받을 유저 정하기 @yul.kk ML을 사용하여 픽코마 무료 에피소드 열람 기프트권 발송을 효율적으로 해결한 방법에 대해 설명합니다. Feature 생성 및 선정과 실서비스 적용 시 주의했던 점들을 공유합니다. 3. BERT보다 10배 빠른 BERT 모델 구축 @marko.k BERT는 NLP 분야에서 SOTA 모델이지만 학습하는데 많은 시간과 컴퓨팅 리소스가 필요합니다. 기존 BERT 대비 10배 더 빠르게 학습시키고 성능도 더 좋...
딥러닝 · 머신러닝 자연어 처리
컨퍼런스 엔지니어링데이 2025
AI 경량화: 더 빠르고 저렴한 AI 서비스 - 백동원_NE DAY 23. 10
컨퍼런스 엔지니어링데이 2025
네이버 사내 기술 교류 행사인 NAVER ENGINEERING DAY(10월)에서 발표되었던 세션을 공개합니다. ----- [발표 내용] * AI 경량화 삽질기 (feat. LaRva) - Quantization과 삽질기 - Pruning과 삽질기 - Low-Rank와 삽질기 - Knowledge Distillation과 삽질기 * AI 경량화 Benefits & Risks - 전력 소모 단위에서의 AI 경량화 - 각종 논문에서의 AI 경량화 안정성 반증 - AI 경량화에서 얻을 수 있는 Benefits - AI 경량화를 할 때 대비해야 하는 Risks
딥러닝 · 머신러닝
컨퍼런스 우아콘 2025
AI 네이티브 회사를 향한 새로운 항해 #우아콘2025 #우아한형제들
컨퍼런스 당근 밋업
🥕 2026 당근 Builder Meetup | AX Day 하이퍼로컬, 가장 거대한 현장 4,300만 명이 가입한 서비스를 만드는 당근 빌더들은 어떤 문제를 풀고 있을까요? 하나의 프로덕트를 처음부터 끝까지 책임지고, 직군의 경계를 넘나들며 함께 답을 찾아가는 당근 빌더들의 고민과 시도, 성공과 실패의 경험을 솔직하게 나눠요. AI를 사용할 줄 아는 데서 한 걸음 더 나아가, 당근의 다양한 직군은 AI로 일하는 방식과 자기 일의 범위를 바꿔가요. 작은 봇을 팀의 인프라로 키우고, 필요한 도구를 직접 만들며, 때로는 AI에 집중하다 풀려던 문제를 놓치기도 했어요. AI를 실제 업무에 적용하며 얻은 배움과 시행착오를 만나보세요. 👉 당근 채용 바로가기: https://careers.daangn.com/
AI 코딩