스팸 콘텐츠 대응을 위한 카카오의 대규모 언어 모델(LLM) 도입 사례 (조혜연 Zoey)
if kakao 카카오 · YouTube
AI 핵심 요약
규칙 기반 필터와 기존 분류 모델은 스팸 여부는 알려줘도, 도배나 긴 콘텐츠가 왜 유해한지 운영자에게 설명하기 어려웠습니다. 이를 보완하기 위해 카카오의 스팸 정책을 반영한 LLM을 만들고, 운영자가 처리한 콘텐츠와 라벨을 바탕으로 분류 결과와 사유를 함께 생성하는 학습 데이터를 구축했습니다. 룰 기반 문장 생성은 키워드에 과도하게 의존하거나 사유를 잘못 설명하는 문제가 있어, 샘플 실험을 거친 뒤 라벨러가 문장 자체의 목적과 맥락을 설명하도록 데이터를 작성했습니다. 학습 모델은 베이스 모델보다 F1 점수가 세 배 이상 높았고, 모니터링 화면에 분류 사유를 제공해 운영자의 판단을 돕도록 적용했습니다.
- 분류 사유를 생성할 때는 단어 하나에 기대기보다 문장 전체의 목적과 맥락을 설명하도록 데이터를 구성하세요.
- 대량 라벨링 전에 샘플을 먼저 검수하고 피드백하면 의도와 다른 기준으로 전체 데이터가 만들어지는 일을 줄일 수 있습니다.
- 응답 표현을 다양하게 만들어 특정 문구에 대한 과적합을 완화하고, 분류 외 지시 데이터도 학습에 활용할 수 있습니다.
- 클래스 불균형을 다룰 때는 큰 범주의 비율뿐 아니라 스팸 세부 유형의 비율과 모델이 혼동하는 정상 사례도 고려하세요.
소개
[2024.06.13. 제6회 Kakao Tech Meet 발표] 문자(text) 스팸 콘텐츠를 효과적으로 분류하기 위해 LLM을 활용한 경험을 소개합니다. 기존의 규칙 기반(Rule-Base) 스팸 콘텐츠에 LLM을 적용한 배경을 설명합니다. 스팸을 단순히 분류하는 것을 넘어, 스팸으로 판정된 이유를 설명하는 LLM의 데이터 수집 방법을 소개합니다. 특히, ‘스팸’ 분야에서 LLM을 어떤 방식으로 활용할 수 있는지에 대한 실전 경험을 중점적으로 다룹니다. 스팸 탐지에 관심 있는 누구나, 특정 도메인에 LLM을 적용해 보고 싶은 개발자에게 추천합니다. #AI #LLM #SpamDetection #TextClassification #TextGeneration 목차 - 스팸 분류를 위한 LLM 도입 배경 - 스팸 도메인 LLM 데이터 수집 과정 중 챌린지와 해결 방법 발표자: 조혜연(zoey.fully) 카카오의 다양한 서비스로 유입되는 콘텐츠에서 스팸을 분류하는 업무를 맡고 있...
비슷한 학습 자료
컨퍼런스 if kakao
All About LLM: 카카오 AI메이트, 학습부터 서빙까지의 모든 것
컨퍼런스 if kakao
if(kakao)25 선물하기, 카카오맵 등 여러 도메인에 LLM을 성공적으로 학습, 평가 및 서빙한 모든 과정을 공개합니다. #TECH #AI #LLM 카카오에서 언어 모델을 활용하여 고성능 검색 시스템 구축을 시도하고 있는 황우성(charlie.cs)입니다. AI 서비스에 특화된 LLM을 연구/개발하고 있는 양기창(kevin.us)입니다. 피부에 와닿을 수 있는 세상에 실질적인 가치를 줄 수 있는 AI를 만들고자 합니다. AI 서비스 도메인에 특화된 언어모델의 서비스 적합성을 높이기 위해 학습 데이터 전략을 수립하고, 언어모델 성능 평가를 위한 평가 체계를 설계하고 구축을 하고있는 안애림(eileen.u)입니다. 발표자료 보기 📍https://if.kakao.com/2025/session?sessionId=36 📍if.kakao.com if(kakao)25 홈페이지 : https://if.kakao.com/2025 #카카오 #kakao #이프카카오25
딥러닝 · 머신러닝 자연어 처리
컨퍼런스 if kakao
서비스에 LLM 부스터 달아주기: 요약부터 AI Bot 까지 / if(kakaoAI)2024
컨퍼런스 if kakao
카카오에서 진행했던 일부 LLM 학습 및 서빙 과정 및 결과에 대해 소개합니다. LLM을 요약과 같이 특정 specific task에 적용 하는 것 부터 시작하여, AI Bot 서비스로 발전시키는 과정에서 단계별로 발생하였던 테크니컬한 이슈들을 어떻게 해소하였는지 소개합니다. #LLM #Generative AI #service AI Alignment Joel입니다. LLM 기반 서비스를 만들기 위해 여러가지 일들을 하고 있습니다. 발표자료 보기 👉 https://speakerdeck.com/kakao/ifkakao24-59 if(kakaoAI)2024에 대한 자세한 정보는 👉 https://if.kakao.com #카카오 #이프카카오 #개발자컨퍼런스 #AI #기술 #개발 #ifkakaoAI2024
자연어 처리
컨퍼런스 if kakao
밑바닥부터 시작하는 LLM 개발기 / if(kakaoAI)2024
컨퍼런스 if kakao
카카오의 자체 대규모 언어 모델(LLM) 개발 과정과 그에 따른 도전 과제, 해결 경험을 소개합니다. 데이터 수집과 전처리부터 시작해 LLM의 pre-training과 post-training을 거친 모델의 개발 과정 전반을 공유하고, 그 과정에서 마주한 주요 문제와 그 해결방안에 대해서도 살펴봅니다. #Kanana #LLM #pre-training #post-training Language Model Training팀의 Mat이라고 합니다. 경쟁력 있는 LLM을 만들기위해 노력하고 있습니다. Language Model Alignment팀의 Kloud입니다. 말 잘듣는 LLM을 만들기위해 다양한 연구/개발을 수행하고 있습니다. 발표자료 보기 👉 https://speakerdeck.com/kakao/ifkakao24-30 if(kakaoAI)2024에 대한 자세한 정보는 👉 https://if.kakao.com #카카오 #이프카카오 #개발자컨퍼런스 #AI #기술 #개발...
딥러닝 · 머신러닝 자연어 처리
컨퍼런스 if kakao
AI 를 통해 스팸을 대응하는 카카오의 노력 / if(kakaoAI)2024
컨퍼런스 if kakao
LLM, LMM, RAG와 같은 관심이 높은 AI 기술들이 사람을 도와주기 위해 실제로 어떻게 활용되는지 소개합니다. 특히, 라벨링을 개선하고 유해 콘텐츠를 분류하며, AI 챗봇의 윤리성을 검토하는 방법을 실제 사례를 중심으로 다룹니다. #AI #유해콘텐츠 #라벨링 #LLM #LMM 서버 개발자에서 세월의 흐름에 이끌려 AI를 연구하고 있는 Herschel입니다. 진정한 풀스택개발자를 꿈꾸고 있습니다. 카카오에서 스팸 차단 AI를 연구하는 Zoey입니다. LLM으로 안전한 디지털 환경을 만들고자 합니다. 발표자료 보기 👉 https://speakerdeck.com/kakao/ifkakao24-16 if(kakaoAI)2024에 대한 자세한 정보는 👉 https://if.kakao.com #카카오 #이프카카오 #개발자컨퍼런스 #AI #기술 #개발 #ifkakaoAI2024
AI에이전트 개발
컨퍼런스 if kakao
카카오의 스팸 메일 대응 전략: 문자열 변형 CASE STUDY (이소민 Laura)
컨퍼런스 if kakao
[2024.06.13. 제6회 Kakao Tech Meet 발표] 스팸 메일은 다양한 형태로 존재합니다. 그중 우리는 스팸 검사를 회피하기 위해 의도적으로 문자열을 깨뜨려 들어오는 경우를 집중적으로 살펴보면서, 문자 인코딩 등의 이야기를 나누며 어떻게 대응했는지 경험을 공유합니다. 카카오가 어떻게 스팸 메일 필터링을 수행하고 있는지에 대해 궁금한 분들에게 추천합니다. #kakaotechmeet #MAIL #Text #Encoding 발표자: 이소민(laura.0326) 클린플랫폼에서 스팸 메일 필터링 업무를 맡고 있습니다. 다양한 것을 경험하는 걸 좋아합니다. 💬 발표자 인터뷰와 비하인드 보러가기: https://tech.kakao.com/posts/624 ✨ 카카오테크 톡채널: http://pf.kakao.com/_qmkxcs ✨ 카카오테크 페이스북: https://www.facebook.com/kakaotech 카카오테크, 미래의 문턱을 낮추는 기술 https://t...
보안
컨퍼런스 if kakao
이미지 기반 스팸 대응을 위한 카카오의 AI 기술 활용 (오창화 Herschel)
컨퍼런스 if kakao
[2024.06.13. 제6회 Kakao Tech Meet 발표] 스팸 이미지 분류를 하기 위해 시도했던 다양한 경험을 공유합니다. 2018년부터 스팸성 이미지 대응 업무에 ML/DL을 도입해온 과정에서, 다양한 문제를 만나고 이를 해결해 가는 과정에서 쌓은 경험을 공유합니다. 다양한 업무 영역에서 ML/DL 도입을 위해 고민하는 개발자에게 추천합니다. #kakaotechmeet #AI #ML #DL 발표자: 오창화(herschel.alway) 어쩌다 보니 세월의 흐름에 이끌려 백엔드 개발에서 스팸 관련한 AI 연구도 같이 하고 있는 개발자입니다. 💬 발표자 인터뷰와 비하인드 보러가기: https://tech.kakao.com/posts/625 ✨ 카카오테크 톡채널: http://pf.kakao.com/_qmkxcs ✨ 카카오테크 페이스북: https://www.facebook.com/kakaotech 카카오테크, 미래의 문턱을 낮추는 기술 https://tech.ka...
딥러닝 · 머신러닝 컴퓨터 비전