국내 최초 오픈소스 가드레일: Kanana-safeguard
if kakao 카카오 · YouTube
AI 핵심 요약
영어와 서구 문화 중심의 기존 가드레일은 한국어 표현과 국내 서비스의 정책·법적 맥락을 충분히 반영하지 못해, 카카오는 한국어 특화 오픈소스 모델 Kanana-safeguard를 개발했다. 일반 유해 콘텐츠와 법적 리스크를 탐지하는 모델, 프롬프트 공격을 분류하는 모델 등 목적에 따라 세 종류로 나누고, 결과를 단일 토큰으로 출력하도록 설계했다. 전문 라벨러 데이터와 증강·합성 데이터를 활용했으며, 말투·문장 유형·단어 문맥을 다양화하고 합성 데이터의 편향과 중복을 보정해 성능을 높였다. 발표에서는 한국어 평가에서 글로벌 모델보다 나은 결과를 확인했다고 설명하면서도 자체 평가 데이터의 한계를 언급했고, 세 모델을 함께 활용하는 구성을 권장했다.
- 가드레일은 서비스 정책에 맞춰 탐지 범위와 리스크 분류 항목을 설계해야 하며, 세 모델은 서로 보완하도록 구성됐다.
- 안전·유해 판정을 단일 토큰으로 출력하면 분류 결과를 빠르게 처리할 수 있다.
- 한국어 말투와 문장 유형을 다양화하고, 단어의 문맥과 라벨 사유를 학습 데이터에 반영하면 오탐을 줄이는 데 도움이 된다.
- LLM으로 악성 프롬프트 데이터를 합성할 때는 편향·중복·잘못된 라벨을 점검하고, 정상 반례를 추가해 과적합을 완화해야 한다.
소개
if(kakao)25 카카오는 안전한 AI 서비스를 위해 LLM 기반 ‘가드레일’ 모델을 개발했습니다. 이 세션에서는 오픈소스로 공개한 한국어 특화 Kanana-safeguard 3종의 개발과정을 소개합니다. #TECH #AI #LLM 카카오에서 AI 기반 유해 콘텐츠 차단 시스템을 개발하는 조혜연(zoey.fully)입니다. Kanana safeguard 개발과 오픈소스 공개에 기여했으며, 최근에는 생성형 AI를 활용한 바이브코딩, 데이터 분석 및 시각화에 깊은 관심을 가지고 있습니다. 카카오에서 AI 기반 유해 콘텐츠 차단 시스템을 개발하는 정덕(coco.bol)입니다. Kanana Safeguard 개발과 오픈소스 공개에 기여했으며, 최근에는 생성형 AI를 활용한 바이브코딩, 데이터 분석 및 시각화에 깊은 관심을 가지고 있습니다. 발표자료 보기 📍https://if.kakao.com/2025/session?sessionId=54 📍if.kakao.com if(k...
비슷한 학습 자료
컨퍼런스 if kakao
카카오 AI Safety & Quality 조직의 Herman입니다. 카카오에서 출시하는 AI 시스템의 높은 품질/안전성을 확보하기 위해 노력 중입니다. AI 시스템이 가지고 있는 위험성의 특징을 설명하고 이를 방지하기 위한 카카오의 노력을 소개합니다. 👇핵심만 골라보기👇 00:00 인트로 02:11 AI 시스템의 위험성 06:36 안전한 AI를 위한 카카오의 노력 (1) 정책 수립 09:24 안전한 AI를 위한 카카오의 노력 (2) 기술 개발 13:50 안전한 AI를 위한 카카오의 노력 (3) 외부 협력 14:51 향후 계획 가능성, 일상이 되다 if(kakao)25 📎 if(kakao)25 홈페이지 : https://if.kakao.com/2025 #카카오 #kakao #이프카카오25
인공지능 기타
컨퍼런스 if kakao
눈으로 보고, 귀로 듣고, 입으로 말하는 AI – 통합 멀티모달 언어모델 Kanana-o 개발기
컨퍼런스 if kakao
if(kakao)25 텍스트만 이해하던 AI는 이제 사람처럼 ‘보고’, ‘듣고’, ‘말’합니다. 텍스트·이미지·오디오를 입력받아 텍스트와 음성으로 응답하는 통합 멀티모달 언어모델 Kanana-o의 개발 과정 및 결과를 공유합니다. #TECH #AI #Multimodal 카카오에서 멀티모달 언어모델을 연구·개발하고 있는 노병석(peter.brain)입니다. 발표자료 보기 📍https://if.kakao.com/2025/session?sessionId=50 📍if.kakao.com if(kakao)25 홈페이지 : https://if.kakao.com/2025 #카카오 #kakao #이프카카오25
자연어 처리
컨퍼런스 if kakao
LLM은 있지만 다시 학습하고 싶어 - Kanana-2 개발기 (~ing)
컨퍼런스 if kakao
Prompt Attack에 대항하는 공든 요새 쌓기: lab.fortress
컨퍼런스 if kakao
if(kakao)25 안전한 AI 서비스를 출시하기 위해 다양한 프롬프트 공격을 탐지하고 차단할 수 있는 가드레일 모델인 lab.fortress를 개발한 경험을 공유합니다. 초기 리서치 단계에서 얻은 인사이트를 바탕으로 데이터 구축부터 최종 모델 개발까지의 전체 프로세스를 설명합니다. 또한, 실제 서비스 도입 후의 현황과 산학협력을 통해 확장된 노하우를 전달합니다. #TECH #AI #Security 카카오뱅크에서 AI의 안전한 활용을 위한 기술을 연구하고, 이를 서비스로 구현하는 손정민(elena.son)입니다. 발표자료 보기 📍https://if.kakao.com/2025/session?sessionId=37 📍if.kakao.com if(kakao)25 홈페이지 : https://if.kakao.com/2025 #카카오 #kakao #이프카카오25
딥러닝 · 머신러닝 보안
컨퍼런스 if kakao
밑바닥부터 시작하는 LLM 개발기 / if(kakaoAI)2024
컨퍼런스 if kakao
카카오의 자체 대규모 언어 모델(LLM) 개발 과정과 그에 따른 도전 과제, 해결 경험을 소개합니다. 데이터 수집과 전처리부터 시작해 LLM의 pre-training과 post-training을 거친 모델의 개발 과정 전반을 공유하고, 그 과정에서 마주한 주요 문제와 그 해결방안에 대해서도 살펴봅니다. #Kanana #LLM #pre-training #post-training Language Model Training팀의 Mat이라고 합니다. 경쟁력 있는 LLM을 만들기위해 노력하고 있습니다. Language Model Alignment팀의 Kloud입니다. 말 잘듣는 LLM을 만들기위해 다양한 연구/개발을 수행하고 있습니다. 발표자료 보기 👉 https://speakerdeck.com/kakao/ifkakao24-30 if(kakaoAI)2024에 대한 자세한 정보는 👉 https://if.kakao.com #카카오 #이프카카오 #개발자컨퍼런스 #AI #기술 #개발...
딥러닝 · 머신러닝 자연어 처리
컨퍼런스 if kakao
if(kakaoAI)2024 카나나알파 리더 김병학(claude.next) 키노트 : Essence of Kanana Model Family 👇핵심만 골라보기 👇 ⏲️ Time Stamps 00:00 오프닝 01:46 카카오 서비스에 최적화된 LLM의 조건 03:44 Kanana 모델 소개 05:46 Kanana 모델 특징 07:26 언어모델 소개 13:19 멀티모달 언어모델 소개 18:17 비주얼 생성 모델 소개 19:16 실용적인 서비스로 연결되는 Kanana 모델 카카오 개발자 컨퍼런스 if(kakaoAI)2024에서 카카오 AI 통합 브랜드 Kanana를 비롯해 AI 비전, 모델, 그리고 우리의 일상을 바꿀 새로운 AI 서비스를 처음으로 세상에 공개했습니다. 더 나은 일상을 모두에게 전하는 그날까지, 끊임없이 가깝고, 친근한 기술을 만들어 가겠습니다. 모든 연결을 새롭게 if(kakaoAI)2024 🔗 if(kakaoAI)2024 홈페이지 : https://...
딥러닝 · 머신러닝 자연어 처리