ㅎㅖ어져서 팝니ㄷr ☆: LLM과 임베딩 유사도로 빠르게 패턴을 바꾸는 업자 잡아내기 | 2024 당근 테크 밋업
당근 밋업 당근 · YouTube
AI 핵심 요약
당근에서는 제목과 게시 패턴을 빠르게 바꾸는 전문 판매업자가 늘면서, 라벨링과 재학습에 시간이 걸리는 지도학습만으로는 대응하기 어려웠다. 이를 보완하기 위해 Kafka 이벤트에서 게시글 정보를 받아 임베딩을 만들고 Pinecone에서 유사 콘텐츠를 묶어 운영자가 선제적으로 확인하도록 했으며, LLM에는 정상·위반 사례의 공통 특징을 자동 추출하게 한 뒤 이를 이용해 새 게시글을 제로샷 분류하도록 구성했다. 발표에서 공유한 약 한 달간의 결과로 LLM 신고의 정밀도는 약 70%였고, 두 로직은 전체 제재 사례 중 각각 21%와 99.1%를 탐지하는 데 기여했다. 새 패턴에 빠르게 대응하려면 지도학습을 대체하기보다 유사 콘텐츠 탐지와 LLM 분류를 보완적으로 활용하고, 자동 탐지 결과를 운영 검토와 연결하는 것이 중요하다는 점을 보여줬다.
- 게시글 제목·이미지 임베딩을 Pinecone에 저장하고, 유사 콘텐츠 클러스터가 생기면 Slack과 운영자 어드민으로 알리는 파이프라인을 구성했다.
- 임베딩 기반 탐지는 학습 데이터 없이 새 패턴을 모니터링할 수 있지만, 일반 사용자도 자주 쓰는 이미지에서는 오탐을 줄이기 위한 검토가 필요하다.
- 제로샷 분류의 자동 프롬프트 생성은 정상·위반 게시글 사례에서 공통 특징을 추출한 뒤, 그 특징을 실시간 분류 프롬프트에 반영하는 2단계 방식이다.
- 전문 판매업자 집단을 하나의 패턴으로 취급하면 모델이 혼란스러울 수 있으므로, 품목보다 문체와 반복적인 표현 같은 추상적 특징을 활용한다.
소개
“여친이랑 혜어져서… 받은거…. 정리합니다 ㅠㅠ!!…”, “☆ㅍㅖ업정리☆ 눈물을 머금고… 아쉽지만 싸게 던져요ㅠ”와 같은 중고거래 게시글을 본 적 있으신가요? 비정상 기기, 위변조된 APK 등 부적절한 방법을 사용하는 어뷰저들의 게시글이에요. 이들은 실시간으로 게시글 작성 패턴을 바꾸며 탐지를 회피해요. 한 시간 전에는 이별했다며 등장하고, 한 시간 후에는 눈물을 흘린다며 판매를 시도하죠. 이 게시글들은 사람이 보기에 공통점이 있지만 supervised learning으로 학습된 모델은 공통점을 캐치하기 어려워하고, 판매 물품에 대해 큰 편향(bias)을 보였어요. 또한 제목 생성기, 이미지 세탁기 등 매크로 프로그램을 사용하는 어뷰저의 속도를 supervised learning으로 따라가기에도 한계가 있었어요. 그래서 서비스 운영실에서는 LLM을 활용한 zero shot 추론에 도전했어요. 또한 임베딩 벡터를 생성하고 벡터 DB인 Pinecone을 사용해서 유사한 제목과 이미지를...
비슷한 학습 자료
컨퍼런스 당근 밋업
LLM을 프로덕션에 적용하며 배운 것들 | 당근 ML 밋업 1회
컨퍼런스 if kakao
이미지까지 이해하는 Multimodal LLM의 학습 방법 밝혀내기 / if(kakaoAI)2024
컨퍼런스 if kakao
CVPR 2024에 하이라이트 논문으로 선정된 카카오의 자체 멀티모달 LLM을 소개하고, 이후 최근까지의 개선 과정을 통해 얻은 인사이트와 노하우를 공유합니다. #Kanana #MultiModal 카나나 알파 조직의 Multimodal LLM Core 팀원 Edwin입니다. 기존의 텍스트 모달리티만을 다루는 LLM에서 더 나아가 시각, 음성을 포함한 다양한 모달리티를 이해하고 반응할 수 있도록 하는 방법에 대해 연구하고 있습니다. 발표자료 보기 👉 https://speakerdeck.com/kakao/ifkakao24-7 if(kakaoAI)2024에 대한 자세한 정보는 👉 https://if.kakao.com #카카오 #이프카카오 #개발자컨퍼런스 #AI #기술 #개발 #ifkakaoAI2024
딥러닝 · 머신러닝 컴퓨터 비전
컨퍼런스 if kakao
지연 시간 순삭! LLM 추론 구조와 효율적 애플리케이션 설계 / if(kakaoAI)2024
컨퍼런스 if kakao
LLM 기반 애플리케이션에서 지연 시간 최소화는 핵심적인 도전 과제입니다. 이번 발표에서는 빠른 응답 속도를 자랑하는 캐릭터 페르소나 구현 경험과 노하우를 공유합니다. LLM의 시퀀스 생성 메커니즘을 분석하여 효율적인 활용 방안을 제시하고, 이를 통해 애플리케이션의 지연 시간을 최소화하는 방법을 탐구합니다. 최적화된 설계를 통해 사용자 경험을 극대화하고 실시간 응답 애플리케이션의 성능을 향상시키는 구체적인 전략을 소개합니다. #LLM 추론 #성능 최적화 #캐릭터 페르소나 웹툰과 웹소설 속 등장 인물들이 유저와 생생하게 소통할 수 있는 캐릭터 페르소나를 개발하고 있는 Umid입니다. 발표자료 보기 👉 https://speakerdeck.com/kakao/ifkakao24-5 if(kakaoAI)2024에 대한 자세한 정보는 👉 https://if.kakao.com #카카오 #이프카카오 #개발자컨퍼런스 #AI #기술 #개발 #ifkakaoAI2024
딥러닝 · 머신러닝 자연어 처리
컨퍼런스 DAN 2025
[팀네이버 컨퍼런스 DAN25] LLM 라우터: 맥락을 이해하고 분류하는 똑똑한 AI 분류기
컨퍼런스 DAN 2025
[팀네이버 컨퍼런스 DAN25] LLM 라우터: 맥락을 이해하고 분류하는 똑똑한 AI 분류기 LLM 라우터는 HyperCLOVA X 경량 모델 기반의 AI 분류 엔진으로, 사용자의 입력이나 콘텐츠를 미리 정의한 주제에 맞게 자동 분류합니다. 기존 ML 기반 분류기와 달리 LLM 라우터는 제로샷 방식으로 학습 없이 바로 사용 가능하며, 고객 문의나 긴 문서도 정확하게 분류 가능합니다. 본 발표에서는 LLM 라우터가 필요한 상황에 대해 설명하고 라우터를 학습한 과정 및 실 사용 예시를 소개합니다. 목차 1. 맥락을 이해하는 Zero-Shot 분류기 - 서비스마다 달라지는 맥락과 정책 - 학습 없이 제로샷으로 대응 가능한 LLM 라우터 - LLM 라우터 활용 예시 2. 일반화 성능을 높이기 위한 학습 및 실험 - 학습 데이터의 다양성 확보 - 데이터 생성 과정 - 학습 및 실험 결과 3. LLM 라우터 실제 활용 사례 - 네이버 내부 서비스...
딥러닝 · 머신러닝 자연어 처리
컨퍼런스 DAN 2025
[팀네이버 컨퍼런스 DAN25] LLM 조각하기: HyperCLOVA-X SEED 모델 학습의 기술, 90x 학습 효율화, 효율적인 LLM 구조 본 세션에서는 HyperCLOVA X LLM 서비스 비용 최적화를 목표로, LLM 아키텍처 설계 단계에서부터 비용을 체계적으로 줄이는 방법을 다룹니다. 최근 LLM의 발전 방향과 서비스 관점에서의 활용 패턴을 정리하고, 이 과정에서 비용을 급증시키는 요인들을 개념적으로 설명합니다. 오픈소스 LLM 중 아키텍처를 연산·메모리 cost관점에서 리뷰하고, 서빙 환경에서 어떤 효과를 얻을 수 있는지 공유합니다. 이러한 아키텍처 리뷰를 바탕으로 HyperCLOVA X에 담긴 설계 철학과, 네이버의 여러 AI 서비스에 비용 효율화를 하기 위한 노력들을 공유합니다. 목차 1. LLM 발전 방향 - LLM의 발전 방향 : Long-Sequence 서비스 요구 사항 증가 - 어디서 LLM 비용이 발생할까? : LLM 비용 포인트...
딥러닝 · 머신러닝 로드맵 2개에 담김
컨퍼런스 엔지니어링데이 2025
LLM이지만 PDF는 읽고 싶어: 복잡한 PDF를 LLM이 이해하는 방법
컨퍼런스 엔지니어링데이 2025
네이버 사내 기술 교류 행사인 NAVER ENGINEERING DAY 2025 에서 발표되었던 세션을 공개합니다. [발표 내용] LLM-friendly PDF parser PaLADIN을 소개합니다. [발표 대상] - AI/LLM을 적극적으로 활용하고 싶으신 분 - 문서 처리에 관심이 있으신 분 - 웹검색에 관심이 있으신 분 [목차] 1. PDF가 왜 중요한가요? - LLM-friendly PDF Parser 2. 기술 탐색 및 PoC (with NVIDIA) - 관련 기술 탐색 - PoC with NVIDIA 3. PaLADIN: 표와 차트, 숫자를 정확히 이해하고 표현하는 LLM-friendly PDF Parser - 아키텍쳐 설계 - nv-ingest - 아키텍쳐 설계 - PaLADIN - Model 소개 - Element-Detector: Doclayout-Yolo - Model 소개 - Table-Extractor: nemoretriever-table-st...
컴퓨터 비전 자연어 처리