이미지 기반 스팸 대응을 위한 카카오의 AI 기술 활용 (오창화 Herschel)
if kakao 카카오 · YouTube
AI 핵심 요약
일부 데이터만 라벨링되는 스팸 이미지 분류에서는 학습 성능과 실제 배포 성능의 차이, 높은 서버 비용, 정책에 따른 예외 처리가 문제였다. 카카오는 EfficientNet과 Swin Transformer를 검토하고, 이미지 다운로드·전처리 캐시와 Kubernetes 오토스케일링, Kafka 기반 비동기 GPU 배치 처리로 분류 성능과 처리 효율을 개선했다. 라벨링에는 액티브 러닝과 모델 투표, Co-teaching을 적용해 유용한 샘플을 선별하고 노이즈 라벨을 줄였으며, 이미지-텍스트 기법으로 정책별 재검토 대상을 좁혔다. 정량 평가뿐 아니라 정책 기준의 정성 평가와 실제 서비스 테스트를 배포 과정에 넣고, 모델 튜닝보다 데이터 품질에 집중하는 것이 중요하다는 경험을 공유했다.
- 학습 데이터가 일부만 라벨링되면 표본 편향과 오버피팅이 생겨 실제 배포 성능이 학습 지표와 달라질 수 있다.
- 액티브 러닝에서는 모델 간 의견이 갈리는 샘플을 우선 라벨링할 수 있지만, 여러 모델을 운영하는 비용과 복잡성도 함께 고려해야 한다.
- 라벨러 간 교차 검수만으로는 정책 해석에서 비롯된 공통 오류를 잡기 어려우므로, 모델 투표나 Co-teaching 같은 보완책을 검토할 수 있다.
- 모델 성능을 높이는 것뿐 아니라 HTTP HEAD 요청, 유사 이미지 캐시, 효율적인 전처리 라이브러리로 불필요한 다운로드와 연산을 줄이는 것이 중요하다.
- 하이퍼파라미터 조정보다 데이터의 특성과 라벨 품질을 개선하는 일이 더 효과적일 수 있으며, 정량·정성 평가를 모두 배포 절차에 포함해야 한다.
소개
[2024.06.13. 제6회 Kakao Tech Meet 발표] 스팸 이미지 분류를 하기 위해 시도했던 다양한 경험을 공유합니다. 2018년부터 스팸성 이미지 대응 업무에 ML/DL을 도입해온 과정에서, 다양한 문제를 만나고 이를 해결해 가는 과정에서 쌓은 경험을 공유합니다. 다양한 업무 영역에서 ML/DL 도입을 위해 고민하는 개발자에게 추천합니다. #kakaotechmeet #AI #ML #DL 발표자: 오창화(herschel.alway) 어쩌다 보니 세월의 흐름에 이끌려 백엔드 개발에서 스팸 관련한 AI 연구도 같이 하고 있는 개발자입니다. 💬 발표자 인터뷰와 비하인드 보러가기: https://tech.kakao.com/posts/625 ✨ 카카오테크 톡채널: http://pf.kakao.com/_qmkxcs ✨ 카카오테크 페이스북: https://www.facebook.com/kakaotech 카카오테크, 미래의 문턱을 낮추는 기술 https://tech.ka...
비슷한 학습 자료
컨퍼런스 if kakao
AI 를 통해 스팸을 대응하는 카카오의 노력 / if(kakaoAI)2024
컨퍼런스 if kakao
LLM, LMM, RAG와 같은 관심이 높은 AI 기술들이 사람을 도와주기 위해 실제로 어떻게 활용되는지 소개합니다. 특히, 라벨링을 개선하고 유해 콘텐츠를 분류하며, AI 챗봇의 윤리성을 검토하는 방법을 실제 사례를 중심으로 다룹니다. #AI #유해콘텐츠 #라벨링 #LLM #LMM 서버 개발자에서 세월의 흐름에 이끌려 AI를 연구하고 있는 Herschel입니다. 진정한 풀스택개발자를 꿈꾸고 있습니다. 카카오에서 스팸 차단 AI를 연구하는 Zoey입니다. LLM으로 안전한 디지털 환경을 만들고자 합니다. 발표자료 보기 👉 https://speakerdeck.com/kakao/ifkakao24-16 if(kakaoAI)2024에 대한 자세한 정보는 👉 https://if.kakao.com #카카오 #이프카카오 #개발자컨퍼런스 #AI #기술 #개발 #ifkakaoAI2024
AI에이전트 개발
컨퍼런스 if kakao
스팸 콘텐츠 대응을 위한 카카오의 대규모 언어 모델(LLM) 도입 사례 (조혜연 Zoey)
컨퍼런스 if kakao
[2024.06.13. 제6회 Kakao Tech Meet 발표] 문자(text) 스팸 콘텐츠를 효과적으로 분류하기 위해 LLM을 활용한 경험을 소개합니다. 기존의 규칙 기반(Rule-Base) 스팸 콘텐츠에 LLM을 적용한 배경을 설명합니다. 스팸을 단순히 분류하는 것을 넘어, 스팸으로 판정된 이유를 설명하는 LLM의 데이터 수집 방법을 소개합니다. 특히, ‘스팸’ 분야에서 LLM을 어떤 방식으로 활용할 수 있는지에 대한 실전 경험을 중점적으로 다룹니다. 스팸 탐지에 관심 있는 누구나, 특정 도메인에 LLM을 적용해 보고 싶은 개발자에게 추천합니다. #AI #LLM #SpamDetection #TextClassification #TextGeneration 목차 - 스팸 분류를 위한 LLM 도입 배경 - 스팸 도메인 LLM 데이터 수집 과정 중 챌린지와 해결 방법 발표자: 조혜연(zoey.fully) 카카오의 다양한 서비스로 유입되는 콘텐츠에서 스팸을 분류하는 업무를 맡고 있...
딥러닝 · 머신러닝 자연어 처리
컨퍼런스 if kakao
카카오의 스팸 메일 대응 전략: 문자열 변형 CASE STUDY (이소민 Laura)
컨퍼런스 if kakao
[2024.06.13. 제6회 Kakao Tech Meet 발표] 스팸 메일은 다양한 형태로 존재합니다. 그중 우리는 스팸 검사를 회피하기 위해 의도적으로 문자열을 깨뜨려 들어오는 경우를 집중적으로 살펴보면서, 문자 인코딩 등의 이야기를 나누며 어떻게 대응했는지 경험을 공유합니다. 카카오가 어떻게 스팸 메일 필터링을 수행하고 있는지에 대해 궁금한 분들에게 추천합니다. #kakaotechmeet #MAIL #Text #Encoding 발표자: 이소민(laura.0326) 클린플랫폼에서 스팸 메일 필터링 업무를 맡고 있습니다. 다양한 것을 경험하는 걸 좋아합니다. 💬 발표자 인터뷰와 비하인드 보러가기: https://tech.kakao.com/posts/624 ✨ 카카오테크 톡채널: http://pf.kakao.com/_qmkxcs ✨ 카카오테크 페이스북: https://www.facebook.com/kakaotech 카카오테크, 미래의 문턱을 낮추는 기술 https://t...
보안
컨퍼런스 if kakao
지도 이미지와 음성을 활용한 어뷰징 방지 전략 (한은경 Sally, 나윤서 Hailey)
컨퍼런스 if kakao
[2023.09.14. 제3회 Kakao Tech Meet 발표] 대량의 비정상 사용자와 봇이 늘어나는 가운데, 카카오는 이에 대응하기 위한 다양한 기술적 대책을 연구하고 있습니다. 특히, AI 기술이 발전하고 접근성이 높아짐에 따라, 악의적인 사용도 점점 더 고도화되고 있습니다. 이러한 배경 속에서, 어뷰징 대응 기술, 전략의 새로운 방향을 모색하고 있으며, 이번 발표에서는 그 일환인 CAPTCHA에 대해 자세히 소개하고자 합니다. 발표자: 한은경(Sally),나윤서(Hailey) 클라우드 메시징셀에서 클라우드 SaaS개발을 담당하고 있는 sally, hailey입니다. 💬 발표자 인터뷰와 비하인드 보러가기: https://tech.kakao.com/2023/09/22/techmeet-dkaptcha/ ✨ 카카오테크 톡채널: http://pf.kakao.com/_qmkxcs ✨ 카카오테크 페이스북: https://www.facebook.com/kakaotech 카카...
보안
컨퍼런스 if kakao
Preview AI_2 / if(kakao)2022
컨퍼런스 if kakao
if(kakao)2022 컨퍼런스에서 AI_2 관련 기술 발표 트랙을 소개합니다. 01:27 1. 초거대모델 학습을 위한 이미지-텍스트 데이터셋: COYO-700M: Large-scale Image-Text Pair Dataset by 변민우(dylan.m) 카카오브레인 라지스케일엔지니어링팀에서 분산학습과 데이터 기술을 연구하고 있는 딜런입니다. 01:54 2. 카카오브레인의 텍스트 기반 이미지 생성 기술 소개 by 김세훈(sam.ksh) 카카오브레인에서 생성 모델을 개발하고 있는 연구원입니다. 02:11 3. 코끼리를 GPU에 넣는법: 실용적인 라지스케일 AI 학습을 위한 최적화 사례 공유 by 조상훈(monk.detective) 카카오브레인 Large-Scale AI Studio의 Monk 입니다. 라지스케일 AI를 실용적으로 사용하기 위해 항상 고민 중입니다. 02:42 4. 이 세상 모든 물체를 검출할 수 있는 AI 기술을 만들 수 있을까요?: 물체 검출 기술의 과거...
딥러닝 · 머신러닝 컴퓨터 비전
컨퍼런스 if kakao
Preview AI_1 / if(kakao)2022
컨퍼런스 if kakao
if(kakao)2022 컨퍼런스에서 AI_1 관련 기술 발표 트랙을 소개합니다. 03:40 1. Explainable Recommendation in 카카오웹툰 by 최규민(pi.314) 카카오 추천팀에서 사용자에게 좋은 추천이 무엇인지를 찾고 싶어하는 pi입니다. 04:12 2. 셀피인증: 안면인식 기술을 이용한 비대면 실명확인 시스템 개발 이야기 by 정기수(victor.y) 카카오뱅크 인식기술팀에서 딥러닝 관련 업무를 담당하고있는 Victor입니다 04:32 3. 터치 습관으로 비대면 금융을 더 안전하게 by 신동화(barney.s) 카카오뱅크 금융기술연구소에서 연구개발 업무를 담당하고 있는 Barney입니다. 04:58 4. VisualComputing for Kakaomap Part: 비주얼 컴퓨팅을 활용한 카카오맵 파트III by 박영욱(thomas.young) 카카오의 비주얼컴퓨팅을 담당하고 있는 Thomas입니다. 카카오맵 발전을 위한 기술 개발을 진행하고 ...
딥러닝 · 머신러닝 컴퓨터 비전