이 문자가 스미싱인 이유는? - 스미싱 탐지를 위한 LLM 개발 및 평가 / if(kakaoAI)2024
if kakao 카카오 · YouTube
AI 핵심 요약
스미싱 여부만 알려주는 방식은 사용자가 결과를 신뢰하기에 근거가 부족하다는 문제에서 출발해, 문자 판별과 이해하기 쉬운 판단 근거 생성을 함께 수행하는 LLM을 개발했다. 크라우드소싱·구매·직접 수집한 문자 데이터의 중복을 제거하고, 대규모 LLM으로 판단 근거를 생성해 레이블링한 뒤 QLoRA 기반 효율적 파인튜닝을 적용했다. 모델은 F1 점수, 문장 유사도, LLM 기반 평가, 사람의 정성 평가로 검증했으며, 발표에서 자체 학습 모델이 GPT 비교 모델보다 높은 탐지 성능과 경쟁력 있는 설명 품질을 보였다고 밝혔다. 서빙 성능도 확인해 서비스 적용 가능성을 검토했으며, 판단 근거의 품질은 자동 지표와 사람 평가를 함께 살펴야 한다는 점을 보여줬다.
- 판별 결과만 제공하면 사용자가 신뢰하기 어려울 수 있으므로, 입력 문자에 근거한 설명을 함께 생성하도록 설계한다.
- 학습 데이터의 중복을 제거하면 학습 비용을 줄이고 과적합을 방지하는 데 도움이 된다.
- 전체 파라미터를 갱신하는 대신 QLoRA로 일부 가중치만 학습하면 GPU 메모리와 학습 비용을 절감할 수 있다.
- 생성 결과 평가는 F1 점수나 문장 유사도만으로 끝내지 말고, 유용성·논리성 평가와 사람의 정성 평가를 함께 활용한다.
- 정성 평가 결과를 해석할 때는 평가자 간 일치도를 확인해 평가의 신뢰성을 검증한다.
소개
스미싱 문자로 인한 금융사기 예방에 은행은 어떤 역할을 할 수 있을까요? LLM을 fine-tuning하여 스미싱 판별 정확도를 높이면서도 유저에게 유용한 판단근거를 생성할 수 있는 모델에 대해 연구개발한 내용을 소개합니다. #LLM #스미싱탐지 #fine-tuning #모형개발 기술로 세상을 안전하게 지키는 Day입니다. 편리한 금융 생활을 위한 AI기술을 연구하는 Yun입니다. 발표자료 보기 👉 https://speakerdeck.com/kakao/ifkakao24-14 if(kakaoAI)2024에 대한 자세한 정보는 👉 https://if.kakao.com #카카오 #이프카카오 #개발자컨퍼런스 #AI #기술 #개발 #ifkakaoAI2024
비슷한 학습 자료
컨퍼런스 if kakao
LLM은 있지만 컨텍스트가 짧아 - Long Context 실전 적용기
컨퍼런스 if kakao
if(kakao)25 언어모델의 사용성 개선 측면에서 Long Context 적용 방법을 소개합니다. #TECH #AI #LLM 카카오에서 AI 모델 추론에 대한 최적화 연구·개발하고 있는 김유민(harry.win)입니다. 카카오에서 AI 모델 학습 및 추론에 대한 최적화 연구·개발하고 있는 김형주(jacob.crux)입니다. 발표자료 보기 📍https://if.kakao.com/2025/session?sessionId=49 📍if.kakao.com if(kakao)25 홈페이지 : https://if.kakao.com/2025 #카카오 #kakao #이프카카오25
딥러닝 · 머신러닝
컨퍼런스 if kakao
All About LLM: 카카오 AI메이트, 학습부터 서빙까지의 모든 것
컨퍼런스 if kakao
if(kakao)25 선물하기, 카카오맵 등 여러 도메인에 LLM을 성공적으로 학습, 평가 및 서빙한 모든 과정을 공개합니다. #TECH #AI #LLM 카카오에서 언어 모델을 활용하여 고성능 검색 시스템 구축을 시도하고 있는 황우성(charlie.cs)입니다. AI 서비스에 특화된 LLM을 연구/개발하고 있는 양기창(kevin.us)입니다. 피부에 와닿을 수 있는 세상에 실질적인 가치를 줄 수 있는 AI를 만들고자 합니다. AI 서비스 도메인에 특화된 언어모델의 서비스 적합성을 높이기 위해 학습 데이터 전략을 수립하고, 언어모델 성능 평가를 위한 평가 체계를 설계하고 구축을 하고있는 안애림(eileen.u)입니다. 발표자료 보기 📍https://if.kakao.com/2025/session?sessionId=36 📍if.kakao.com if(kakao)25 홈페이지 : https://if.kakao.com/2025 #카카오 #kakao #이프카카오25
딥러닝 · 머신러닝 자연어 처리
컨퍼런스 if kakao
서비스에 LLM 부스터 달아주기: 요약부터 AI Bot 까지 / if(kakaoAI)2024
컨퍼런스 if kakao
카카오에서 진행했던 일부 LLM 학습 및 서빙 과정 및 결과에 대해 소개합니다. LLM을 요약과 같이 특정 specific task에 적용 하는 것 부터 시작하여, AI Bot 서비스로 발전시키는 과정에서 단계별로 발생하였던 테크니컬한 이슈들을 어떻게 해소하였는지 소개합니다. #LLM #Generative AI #service AI Alignment Joel입니다. LLM 기반 서비스를 만들기 위해 여러가지 일들을 하고 있습니다. 발표자료 보기 👉 https://speakerdeck.com/kakao/ifkakao24-59 if(kakaoAI)2024에 대한 자세한 정보는 👉 https://if.kakao.com #카카오 #이프카카오 #개발자컨퍼런스 #AI #기술 #개발 #ifkakaoAI2024
자연어 처리
컨퍼런스 if kakao
빠르고 비용 효율적으로 LLM 서빙하기 / if(kakaoAI)2024
컨퍼런스 if kakao
경제적인 LLM 서비스 개발을 목표로 LLM의 추론 비용을 최적화하고자 고민하고 실험했던 다양한 내용을 공유합니다. #Kanana #LLM #Inference AI Engineering 조직 리더 Andrew입니다. 발표자료 보기 👉 https://speakerdeck.com/kakao/ifkakao24-31 if(kakaoAI)2024에 대한 자세한 정보는 👉 https://if.kakao.com #카카오 #이프카카오 #개발자컨퍼런스 #AI #기술 #개발 #ifkakaoAI2024
데브옵스 · 인프라 인공지능 기타 로드맵 5개에 담김
컨퍼런스 if kakao
밑바닥부터 시작하는 LLM 개발기 / if(kakaoAI)2024
컨퍼런스 if kakao
카카오의 자체 대규모 언어 모델(LLM) 개발 과정과 그에 따른 도전 과제, 해결 경험을 소개합니다. 데이터 수집과 전처리부터 시작해 LLM의 pre-training과 post-training을 거친 모델의 개발 과정 전반을 공유하고, 그 과정에서 마주한 주요 문제와 그 해결방안에 대해서도 살펴봅니다. #Kanana #LLM #pre-training #post-training Language Model Training팀의 Mat이라고 합니다. 경쟁력 있는 LLM을 만들기위해 노력하고 있습니다. Language Model Alignment팀의 Kloud입니다. 말 잘듣는 LLM을 만들기위해 다양한 연구/개발을 수행하고 있습니다. 발표자료 보기 👉 https://speakerdeck.com/kakao/ifkakao24-30 if(kakaoAI)2024에 대한 자세한 정보는 👉 https://if.kakao.com #카카오 #이프카카오 #개발자컨퍼런스 #AI #기술 #개발...
딥러닝 · 머신러닝 자연어 처리
컨퍼런스 if kakao
LLM 서빙하기 / if(kakaoAI)2024
컨퍼런스 if kakao
LLM 서빙 프레임워크 도입 경험과 프레임워크 성능 최적화 기술을 쉽게 설명합니다. #LLM 서빙 프레임워크 카카오페이 선행기술개발TF팀에서 AI 서비스를 개발하고 있는 Ari입니다. 카카오페이 선행기술개발TF팀에서 금융관련 모델을 개발하고 있는 Kyou입니다. 발표자료 보기 👉 https://speakerdeck.com/kakao/ifkakao24-20 if(kakaoAI)2024에 대한 자세한 정보는 👉 https://if.kakao.com #카카오 #이프카카오 #개발자컨퍼런스 #AI #기술 #개발 #ifkakaoAI2024
데브옵스 · 인프라 딥러닝 · 머신러닝