당근은 왜 LLM Router 를 직접 만들었을까? | 2026 당근 빌더 밋업
당근 밋업 당근 · YouTube
AI 핵심 요약
각 팀이 LLM API 키와 SDK를 따로 관리하면서 코드가 파편화되고, 장애 대응과 비용 파악도 사후적으로 이뤄지는 문제가 있었다. 당근은 기존 라우터가 모델별 고유 기능과 내부 비용 시스템, 필요한 프로토콜을 충분히 지원하지 못한다고 판단해 자체 LLM Router를 만들었다. OpenAI 프로토콜을 바탕으로 Google GenAI·Amazon Bedrock 등의 SDK에 맞춰 요청과 응답을 변환하고, 내부 인증과 동적 모델 설정, 비용·토큰 관측 기능을 붙였다. 그 결과 모델 연동과 장애·비용 파악을 더 빠르게 할 수 있었으며, 앞으로는 멀티벤더 스마트 라우팅과 GPU 자원 최적화를 추진할 계획이다.
- 라우터는 공통 API뿐 아니라 인증·접근 제어와 비용 추적까지 맡아야 플랫폼 팀의 운영 부담을 줄일 수 있다.
- 단순 프록시는 모델별 고유 기능을 놓칠 수 있으므로, 필요한 경우 SDK를 이용해 프로토콜 변환을 직접 구현한다.
- 공통 프로토콜의 한계는 확장 필드로 보완해 클라이언트 변경 없이 그라운딩, 멀티모달 임베딩, 추론 시그니처 등을 전달할 수 있다.
- 모델 설정을 동적 구성으로 관리하면 신규 모델 연동과 기능 제공을 빠르게 할 수 있다.
- 요청량만으로 LLM 비용과 자원 사용을 판단하지 말고 입력·출력·캐시 토큰과 GPU 비용을 함께 살펴야 한다.
소개
🥕 2026 당근 빌더 밋업 | Platform Day 하이퍼로컬, 가장 거대한 현장 4,300만 명이 가입한 서비스를 만드는 당근 빌더들은 어떤 문제를 풀고 있을까요? 하나의 프로덕트를 처음부터 끝까지 책임지고, 직군의 경계를 넘나들며 함께 답을 찾아가는 당근 빌더들의 고민과 시도, 성공과 실패의 경험을 솔직하게 나눠요. 엔지니어 동료들이 더 빠르게, 더 큰 문제에 집중할 수 있도록 당근의 플랫폼은 끊임없이 발전해요. 다양한 기술과 아키텍처를 여러 서비스가 함께 쓰는 플랫폼으로 만드는 과정부터 AI와 함께 일하는 새로운 방식까지, 당근 플랫폼 개발자들이 현장에서 마주한 고민과 시행착오를 만나보세요. 👉 당근 채용 바로가기 : https://careers.daangn.com/
비슷한 학습 자료
컨퍼런스 당근 밋업
저도 할 수 있어요! 제품이 만들어지는 길목마다 AI 사용하기 | 2026 당근 빌더 밋업
컨퍼런스 당근 밋업
🥕 2026 당근 빌더 밋업 | Android Day 하이퍼로컬, 가장 거대한 현장 4,300만 명이 가입한 서비스를 만드는 당근 빌더들은 어떤 문제를 풀고 있을까요? 하나의 프로덕트를 처음부터 끝까지 책임지고, 직군의 경계를 넘나들며 함께 답을 찾아가는 당근 빌더들의 고민과 시도, 성공과 실패의 경험을 솔직하게 나눠요. 수천만 명이 사용하는 당근 앱이 더 빠르고 안정적으로 성장할 수 있도록 Android 팀은 기술과 일하는 방식을 끊임없이 발전시켜요. AI와 함께 개발하는 새로운 방식부터 제품의 속도와 품질을 높이고 개발자의 역할을 확장해 가는 과정까지, 당근 Android 개발자들이 현장에서 마주한 고민과 시행착오를 만나보세요. 👉 당근 채용 바로가기 : https://careers.daangn.com/
AI 코딩
컨퍼런스 당근 밋업
🥕 2026 당근 빌더 밋업 | Product Day 하이퍼로컬, 가장 거대한 현장 4,300만 명이 가입한 서비스를 만드는 당근 빌더들은 어떤 문제를 풀고 있을까요? 하나의 프로덕트를 처음부터 끝까지 책임지고, 직군의 경계를 넘나들며 함께 답을 찾아가는 당근 빌더들의 고민과 시도, 성공과 실패의 경험을 솔직하게 나눠요. 당근에는 Seed 단계부터 Stage D까지 다양한 제품이 있고, 각 제품의 성장 단계에 따라 일하는 방식과 마주하는 문제가 달라요. 서비스를 처음 만들던 순간의 PMF 탐색부터 직군의 경계를 넘어 하나의 제품을 만들어온 과정까지, 당근 빌더들이 실제 프로덕트를 만들고 성장시키며 얻은 배움과 고민을 만나보세요. 👉 당근 채용 바로가기 : https://careers.daangn.com/
컨퍼런스 당근 밋업
🥕 2026 당근 빌더 밋업 | Product Day 하이퍼로컬, 가장 거대한 현장 4,300만 명이 가입한 서비스를 만드는 당근 빌더들은 어떤 문제를 풀고 있을까요? 하나의 프로덕트를 처음부터 끝까지 책임지고, 직군의 경계를 넘나들며 함께 답을 찾아가는 당근 빌더들의 고민과 시도, 성공과 실패의 경험을 솔직하게 나눠요. 당근에는 Seed 단계부터 Stage D까지 다양한 제품이 있고, 각 제품의 성장 단계에 따라 일하는 방식과 마주하는 문제가 달라요. 서비스를 처음 만들던 순간의 PMF 탐색부터 직군의 경계를 넘어 하나의 제품을 만들어온 과정까지, 당근 빌더들이 실제 프로덕트를 만들고 성장시키며 얻은 배움과 고민을 만나보세요. 👉 당근 채용 바로가기 : https://careers.daangn.com/
프로덕트 매니지먼트
컨퍼런스 당근 밋업
🥕 2026 당근 빌더 밋업 | Platform Day 하이퍼로컬, 가장 거대한 현장 4,300만 명이 가입한 서비스를 만드는 당근 빌더들은 어떤 문제를 풀고 있을까요? 하나의 프로덕트를 처음부터 끝까지 책임지고, 직군의 경계를 넘나들며 함께 답을 찾아가는 당근 빌더들의 고민과 시도, 성공과 실패의 경험을 솔직하게 나눠요. 엔지니어 동료들이 더 빠르게, 더 큰 문제에 집중할 수 있도록 당근의 플랫폼은 끊임없이 발전해요. 다양한 기술과 아키텍처를 여러 서비스가 함께 쓰는 플랫폼으로 만드는 과정부터 AI와 함께 일하는 새로운 방식까지, 당근 플랫폼 개발자들이 현장에서 마주한 고민과 시행착오를 만나보세요. 👉 당근 채용 바로가기 : https://careers.daangn.com/
인공지능 기타
컨퍼런스 당근 밋업
망치를 쓰지 마세요 | 2026 당근 빌더 밋업
컨퍼런스 당근 밋업
🥕 2026 당근 Builder Meetup | AX Day 하이퍼로컬, 가장 거대한 현장 4,300만 명이 가입한 서비스를 만드는 당근 빌더들은 어떤 문제를 풀고 있을까요? 하나의 프로덕트를 처음부터 끝까지 책임지고, 직군의 경계를 넘나들며 함께 답을 찾아가는 당근 빌더들의 고민과 시도, 성공과 실패의 경험을 솔직하게 나눠요. AI를 사용할 줄 아는 데서 한 걸음 더 나아가, 당근의 다양한 직군은 AI로 일하는 방식과 자기 일의 범위를 바꿔가요. 작은 봇을 팀의 인프라로 키우고, 필요한 도구를 직접 만들며, 때로는 AI에 집중하다 풀려던 문제를 놓치기도 했어요. AI를 실제 업무에 적용하며 얻은 배움과 시행착오를 만나보세요. 👉 당근 채용 바로가기: https://careers.daangn.com/
AI 코딩
컨퍼런스 당근 밋업
유저 문제, 진짜 해결됐나요? | 2026 당근 빌더 밋업
컨퍼런스 당근 밋업
🥕 2026 당근 Builder Meetup 하이퍼로컬, 가장 거대한 현장 4,300만 명이 가입한 서비스를 만드는 당근 빌더들은 어떤 문제를 풀고 있을까요? 하나의 프로덕트를 처음부터 끝까지 책임지고, 직군의 경계를 넘나들며 함께 답을 찾아가는 당근 빌더들의 고민과 시도, 성공과 실패의 경험을 솔직하게 나눠요. AI를 사용할 줄 아는 데서 한 걸음 더 나아가, 당근의 다양한 직군은 AI로 일하는 방식과 자기 일의 범위를 바꿔가요. 작은 봇을 팀의 인프라로 키우고, 필요한 도구를 직접 만들며, 때로는 AI에 집중하다 풀려던 문제를 놓치기도 했어요. AI를 실제 업무에 적용하며 얻은 배움과 시행착오를 만나보세요. 👉 당근 채용 바로가기: https://careers.daangn.com/
프로덕트 매니지먼트