메일 카테고리 분류 모델 개발기 / if(kakao)2022
if kakao 카카오 · YouTube
AI 핵심 요약
기존 메일 분류기는 정적 규칙에 의존해 애매한 사례를 다루기 어렵고, 신규 메일 유형을 반영하려면 수동 업데이트가 필요했습니다. 이를 개선하기 위해 도메인 지식을 활용할 수 있는 scikit-learn 기반 머신러닝 분류기를 개발했으며, 실시간 처리를 고려해 발신자·제목·SPF 등 헤더 피처를 사용하고 도메인별 데이터 편중을 조정했습니다. 성능 검증 과정에서는 대량의 메일을 직접 확인하기 어렵다는 문제를 해결하려고 발송 도메인, MinHash LSH, 형태소 태그 비교를 조합해 템플릿 메일을 묶었고, 모델은 발표 당시 검수 중이었습니다. 데이터의 특성을 먼저 살피고 작은 가설을 반복해 검증하며 각 시도와 결과를 기록하는 것이 개발 과정에서 중요하다는 점을 공유했습니다.
- 메일 분류에 쓸 피처는 실시간 처리 비용과 데이터 특성을 고려해 선택하고, 본문보다 변동성이 낮은 헤더부터 검토할 수 있습니다.
- 카테고리별 데이터 수뿐 아니라 특정 발송 도메인에 학습이 치우치지 않도록 도메인별 비중도 조정해야 합니다.
- 템플릿 메일을 줄일 때는 발송 도메인, MinHash LSH, 형태소 태그 비교를 조합해 각 방법의 한계를 보완할 수 있습니다.
- 검증 표본을 만들기 전에 중복 템플릿을 묶어 모집단을 줄이면 대량 메일의 검수 부담을 낮출 수 있습니다.
- 가설과 시도, 결과를 기록하고 작은 실험을 반복하면 실패도 다음 개선의 근거로 활용할 수 있습니다.
소개
카카오에서는 다음 메일과 카카오 메일을 서비스 하고 있습니다. 각 서비스에서는 메일의 유형을 분류하는 모델을 신규로 개발 중에 있습니다. 이 세션에서는 머신러닝에 대해 생소한 백엔드 개발자가 어떻게 분류 모델을 개발하였는지, 그 과정과 진행하며 깨달은 사항들에 대해 공유합니다. #ML #Mail #Python 카카오에서 다음/카카오 메일 서비스를 개발하고 있는 로라입니다. 발표자료 보기 👉https://speakerdeck.com/kakao/ifkakao22-7 if(kakao)2022에 대한 자세한 정보는 👉 https://if.kakao.com if(kakao)2022에 대한 문의는 👉 if@kakaocorp.com #카카오 #이프카카오 #개발자컨퍼런스 #기술 #개발 #ifkakao2022
비슷한 학습 자료
컨퍼런스 if kakao
선물하기 럭스 리뷰 카드 분류 모델 개발기 / if(kakaoAI)2024
컨퍼런스 if kakao
업무 효율화를 위한 카카오 사내봇 개발기 / if(kakaoAI)2024
컨퍼런스 if kakao
카카오 내에 수많은 데이터에서 원하는 데이터를 빠르게 찾아주는 '0depth 사내봇 개발기'를 공유합니다. #Data #AI #LLM #RAG 카카오 데이터 조직의 Tory입니다. 실용적이고 사용자 친화적인 AI Application을 만드는 것에 관심이 많습니다. 카카오 내에 다양한 AI 프로덕트를 생산하는 Jennie입니다. 발표자료 보기 👉 https://speakerdeck.com/kakao/ifkakao24-27 if(kakaoAI)2024에 대한 자세한 정보는 👉 https://if.kakao.com #카카오 #이프카카오 #개발자컨퍼런스 #AI #기술 #개발 #ifkakaoAI2024
AI에이전트 개발
컨퍼런스 if kakao
카카오의 스팸 메일 대응 전략: 문자열 변형 CASE STUDY (이소민 Laura)
컨퍼런스 if kakao
[2024.06.13. 제6회 Kakao Tech Meet 발표] 스팸 메일은 다양한 형태로 존재합니다. 그중 우리는 스팸 검사를 회피하기 위해 의도적으로 문자열을 깨뜨려 들어오는 경우를 집중적으로 살펴보면서, 문자 인코딩 등의 이야기를 나누며 어떻게 대응했는지 경험을 공유합니다. 카카오가 어떻게 스팸 메일 필터링을 수행하고 있는지에 대해 궁금한 분들에게 추천합니다. #kakaotechmeet #MAIL #Text #Encoding 발표자: 이소민(laura.0326) 클린플랫폼에서 스팸 메일 필터링 업무를 맡고 있습니다. 다양한 것을 경험하는 걸 좋아합니다. 💬 발표자 인터뷰와 비하인드 보러가기: https://tech.kakao.com/posts/624 ✨ 카카오테크 톡채널: http://pf.kakao.com/_qmkxcs ✨ 카카오테크 페이스북: https://www.facebook.com/kakaotech 카카오테크, 미래의 문턱을 낮추는 기술 https://t...
보안
컨퍼런스 if kakao
카카오 분석플랫폼 변천사 / if(kakao)2022
컨퍼런스 if kakao
카카오내 수천억건이 넘는 데이터 환경에서 비즈니스 의사 결정을 도울 수 있는 데이터 분석플랫폼을 구축한 사례를 분석 플랫폼의 변화 과정을 통해 공유 드리고자 합니다. #AnalysisPlatform 카카오 데이터 연구실에서 데이터분석플랫폼을 개발하고 있는 jay 라고 합니다. 발표자료 보기 👉https://speakerdeck.com/kakao/ifkakao22-61 if(kakao)2022에 대한 자세한 정보는 👉 https://if.kakao.com if(kakao)2022에 대한 문의는 👉 if@kakaocorp.com #카카오 #이프카카오 #개발자컨퍼런스 #기술 #개발 #ifkakao2022
데이터베이스 인공지능 기타
컨퍼런스 if kakao
카카오페이 앱 리빌딩 스토리 / if(kakao)2022
컨퍼런스 if kakao
카카오페이앱을 리빌딩하면서 겪은 과정들을 소개해 드리려고 합니다. #Android 카카오페이 안드로이드 주식 서비스 업무를 맡고 있는 스카일러입니다. 카카오페이 안드로이드 계정 서비스 업무를 맡고 있는 에디입니다. 발표자료 보기 👉https://speakerdeck.com/kakao/ifkakao22-91 if(kakao)2022에 대한 자세한 정보는 👉 https://if.kakao.com if(kakao)2022에 대한 문의는 👉 if@kakaocorp.com #카카오 #이프카카오 #개발자컨퍼런스 #기술 #개발 #ifkakao2022
모바일 앱 개발
컨퍼런스 if kakao
카카오뱅크 고객의 금융 행동 패턴 파악하기 / if(kakao)2022
컨퍼런스 if kakao
고객의 금융 sequence 데이터로 고객이 카카오뱅크를 어떻게 이용하고 있는지 고객의 유형을 파악하고, 다음 행동을 예측하는 것을 목표로 합니다. 발표에서는 금융 sequence 데이터로 고객 행동 패턴을 분석하는 과정을 소개하고자 합니다. #ML #NLP 카카오뱅크 빅데이터분석팀에서 고객과 상품/서비스 분석을 하고 있는 Sunny입니다. 발표자료 보기 👉https://speakerdeck.com/kakao/ifkakao22-11 if(kakao)2022에 대한 자세한 정보는 👉 https://if.kakao.com if(kakao)2022에 대한 문의는 👉 if@kakaocorp.com #카카오 #이프카카오 #개발자컨퍼런스 #기술 #개발 #ifkakao2022
딥러닝 · 머신러닝 프로덕트 지표 · 실험