LLM을 프로덕션에 적용하며 배운 것들 | 당근 ML 밋업 1회
당근 밋업 당근 · YouTube
AI 핵심 요약
당근은 사용자가 자유 형식으로 작성한 중고거래·동네생활 게시글과 모임, 부동산 매물에서 정보를 추출해 추천·광고, 장소 링크, 해시태그, 매물 폼 자동 입력 등에 활용하는 LLM 기능을 만들었다. 새 게시글을 Kafka 이벤트로 받아 실시간 처리하고 결과를 다시 Kafka나 BigQuery에 저장하는 공통 파이프라인을 구성해, 설정을 추가하는 방식으로 새 추론 작업을 붙일 수 있게 했다. 적용 과정에서는 평가 데이터셋과 도메인 전문가 검토를 바탕으로 프롬프트를 반복 개선하고, 배포 후에도 샘플링과 온라인 지표 모니터링으로 예외 사례를 찾는 것이 중요했다. 또한 JSON 후처리, API 장애·레이트 리밋 대비, 모델 버전 관리까지 서비스 운영에 포함해야 한다는 점을 강조했다.
- 프롬프트는 역할·맥락·지시·출력 형식을 구분해 구성하고, XML 스타일 태그로 요소를 명확히 나눠 보세요.
- 태스크에 맞는 평가 데이터셋을 만들고, 도메인 전문가와 함께 결과를 검토하며 프롬프트를 반복 개선하세요.
- 예시는 출력 형식을 알려주는 데 유용하지만, 많이 넣으면 예시와 비슷한 입력에 편향될 수 있어 최소한으로 사용하세요.
- LLM API 장애와 레이트 리밋, 모델 버전 변경을 고려해 대체 경로와 재처리 방안을 마련하고 버전을 고정하세요.
소개
당근 ML 밋업은 당근의 머신러닝 기술, 도전 과제 및 앞으로 방향성에 대해 공유하고, 서로 네트워킹 할 수 있는 행사예요. 🥕 LLM을 프로덕션에 적용하며 배운 것들 (박민우/Tech Core) 🥕 당근 공고 살펴보기 : https://about.daangn.com/jobs/
이 자료가 담긴 로드맵
커뮤니티에서 더 보기비슷한 학습 자료
컨퍼런스 당근 밋업
ML Infrastructure with GCP | 2025 당근 GCP 밋업
컨퍼런스 당근 밋업
“여친이랑 혜어져서… 받은거…. 정리합니다 ㅠㅠ!!…”, “☆ㅍㅖ업정리☆ 눈물을 머금고… 아쉽지만 싸게 던져요ㅠ”와 같은 중고거래 게시글을 본 적 있으신가요? 비정상 기기, 위변조된 APK 등 부적절한 방법을 사용하는 어뷰저들의 게시글이에요. 이들은 실시간으로 게시글 작성 패턴을 바꾸며 탐지를 회피해요. 한 시간 전에는 이별했다며 등장하고, 한 시간 후에는 눈물을 흘린다며 판매를 시도하죠. 이 게시글들은 사람이 보기에 공통점이 있지만 supervised learning으로 학습된 모델은 공통점을 캐치하기 어려워하고, 판매 물품에 대해 큰 편향(bias)을 보였어요. 또한 제목 생성기, 이미지 세탁기 등 매크로 프로그램을 사용하는 어뷰저의 속도를 supervised learning으로 따라가기에도 한계가 있었어요. 그래서 서비스 운영실에서는 LLM을 활용한 zero shot 추론에 도전했어요. 또한 임베딩 벡터를 생성하고 벡터 DB인 Pinecone을 사용해서 유사한 제목과 이미지를...
AI에이전트 개발 자연어 처리
컨퍼런스 당근 밋업
당근 ML인프라 A to Z : 현재와 미래 | 당근 ML 밋업 1회
컨퍼런스 DAN 2025
[팀네이버 컨퍼런스 DAN25] 검색 서비스에 최적화된 LLM 만들기: 데이터, 학습, 서비스 적용 사례 범용 LLM은 강력하지만 매일 수십억 건의 질문과 답을 다루는 실제 검색 서비스에 그대로 적용하기에는 한계가 있다. 본 발표에서는 "검색 서비스 특화 LLM"을 만들고 실제 서비스에 적용해본 경험담을 공유한다. 검색 로그에서 출발한 데이터 가공 레시피 적용과 다양한 데이터 조합 실험, 특히 기존 범용 성능을 유지하면서도 서비스 맞춤 기능을 끌어올린 실험 결과와 데이터 최적화 노하우를 공유한다. 실제 서비스 적용 관점에서는 보다 신뢰성있는 검색 결과를 사용자에게 제공하기 위한 AuthGR과 전통적인 정보 검색 과정을 하나로 통합해 제시하는 AI briefing 을 소개한다. 이를 통해 범용 LLM 대비 검색 서비스 특화 모델의 효용성을 확인할 수 있으며, 네이버가 검색 품질 개선을 위해 갖고있는 고민과 앞으로의 방향성을 엿볼 수 있다. 목차 1. 서비스 특화 LLM 의 필...
딥러닝 · 머신러닝 자연어 처리
컨퍼런스 당근 밋업
당근은 왜 LLM Router 를 직접 만들었을까? | 2026 당근 빌더 밋업
컨퍼런스 당근 밋업
🥕 2026 당근 빌더 밋업 | Platform Day 하이퍼로컬, 가장 거대한 현장 4,300만 명이 가입한 서비스를 만드는 당근 빌더들은 어떤 문제를 풀고 있을까요? 하나의 프로덕트를 처음부터 끝까지 책임지고, 직군의 경계를 넘나들며 함께 답을 찾아가는 당근 빌더들의 고민과 시도, 성공과 실패의 경험을 솔직하게 나눠요. 엔지니어 동료들이 더 빠르게, 더 큰 문제에 집중할 수 있도록 당근의 플랫폼은 끊임없이 발전해요. 다양한 기술과 아키텍처를 여러 서비스가 함께 쓰는 플랫폼으로 만드는 과정부터 AI와 함께 일하는 새로운 방식까지, 당근 플랫폼 개발자들이 현장에서 마주한 고민과 시행착오를 만나보세요. 👉 당근 채용 바로가기 : https://careers.daangn.com/
백엔드 AI에이전트 개발