Prompt Attack에 대항하는 공든 요새 쌓기: lab.fortress
if kakao 카카오 · YouTube
AI 핵심 요약
카카오뱅크는 AI 검색 등 금융 서비스에서 시스템 프롬프트 탈취와 우회 공격을 막기 위해 입력 가드레일 모델 lab.fortress를 개발했습니다. 오픈소스 데이터와 내부 데이터를 바탕으로 금융 서비스별 공격 시나리오와 다양한 말투의 한국어·영어 데이터를 구축하고, 소형 분류 모델을 파인튜닝한 여러 모델을 앙상블했습니다. 테스트와 실제 서비스에서 공격 탐지 및 오탐 목표를 확인했으며, 서비스 도입 후에는 프롬프트 무력화와 모델 정보 탈취 시도 등을 관찰했습니다. 단일 모델의 탐지에만 기대지 않는 다층 방어가 중요하다는 점을 확인하고, 멀티턴 입력과 출력 가드레일로 대응 범위를 넓히고 있습니다.
- 가드레일 후보는 모델 크기만으로 고르지 말고 응답 속도, 언어 지원, 서비스 모델과의 중복 여부, 공격 데이터 학습 여부를 함께 평가하세요.
- 금융 도메인 공격은 실제 서비스 기능과 연결된 구체적인 시나리오로 만들고, 명령조뿐 아니라 친절한 말투 등 표현 방식도 다양화해야 합니다.
- 데이터를 여러 단일 모델에 나눠 학습하고 앙상블하면 한 모델에 데이터를 몰아 학습하는 것보다 성능이 나을 수 있습니다.
- 긴 코드형 공격 데이터에 치우쳐 오탐하지 않도록 학습 데이터의 토큰 길이를 조절하고, 정밀도와 재현율을 함께 보는 F1 점수로 평가하세요.
- 단일 입력 탐지에만 의존하지 말고 대화 맥락을 보는 멀티턴 입력 가드레일과 모델 응답을 검사하는 출력 가드레일로 방어를 확장할 수 있습니다.
소개
if(kakao)25 안전한 AI 서비스를 출시하기 위해 다양한 프롬프트 공격을 탐지하고 차단할 수 있는 가드레일 모델인 lab.fortress를 개발한 경험을 공유합니다. 초기 리서치 단계에서 얻은 인사이트를 바탕으로 데이터 구축부터 최종 모델 개발까지의 전체 프로세스를 설명합니다. 또한, 실제 서비스 도입 후의 현황과 산학협력을 통해 확장된 노하우를 전달합니다. #TECH #AI #Security 카카오뱅크에서 AI의 안전한 활용을 위한 기술을 연구하고, 이를 서비스로 구현하는 손정민(elena.son)입니다. 발표자료 보기 📍https://if.kakao.com/2025/session?sessionId=37 📍if.kakao.com if(kakao)25 홈페이지 : https://if.kakao.com/2025 #카카오 #kakao #이프카카오25
비슷한 학습 자료
컨퍼런스 if kakao
카카오 AI Safety & Quality 조직의 Herman입니다. 카카오에서 출시하는 AI 시스템의 높은 품질/안전성을 확보하기 위해 노력 중입니다. AI 시스템이 가지고 있는 위험성의 특징을 설명하고 이를 방지하기 위한 카카오의 노력을 소개합니다. 👇핵심만 골라보기👇 00:00 인트로 02:11 AI 시스템의 위험성 06:36 안전한 AI를 위한 카카오의 노력 (1) 정책 수립 09:24 안전한 AI를 위한 카카오의 노력 (2) 기술 개발 13:50 안전한 AI를 위한 카카오의 노력 (3) 외부 협력 14:51 향후 계획 가능성, 일상이 되다 if(kakao)25 📎 if(kakao)25 홈페이지 : https://if.kakao.com/2025 #카카오 #kakao #이프카카오25
인공지능 기타
컨퍼런스 if kakao
국내 최초 오픈소스 가드레일: Kanana-safeguard
컨퍼런스 if kakao
if(kakao)25 카카오는 안전한 AI 서비스를 위해 LLM 기반 ‘가드레일’ 모델을 개발했습니다. 이 세션에서는 오픈소스로 공개한 한국어 특화 Kanana-safeguard 3종의 개발과정을 소개합니다. #TECH #AI #LLM 카카오에서 AI 기반 유해 콘텐츠 차단 시스템을 개발하는 조혜연(zoey.fully)입니다. Kanana safeguard 개발과 오픈소스 공개에 기여했으며, 최근에는 생성형 AI를 활용한 바이브코딩, 데이터 분석 및 시각화에 깊은 관심을 가지고 있습니다. 카카오에서 AI 기반 유해 콘텐츠 차단 시스템을 개발하는 정덕(coco.bol)입니다. Kanana Safeguard 개발과 오픈소스 공개에 기여했으며, 최근에는 생성형 AI를 활용한 바이브코딩, 데이터 분석 및 시각화에 깊은 관심을 가지고 있습니다. 발표자료 보기 📍https://if.kakao.com/2025/session?sessionId=54 📍if.kakao.com if(k...
인공지능 기타 보안
컨퍼런스 if kakao
AI Coding Agent: 실험을 통해 확인한 생산성 그 이상의 가능성
컨퍼런스 if kakao
if(kakao)25 ‘바이브코딩’에서 시작된 새로운 개발 패러다임, 카카오의 프로덕션 환경에서도 통했을까요? 카카오의 생생한 실험 과정을 통해 무엇을 증명했고, 어떤 통찰을 얻었는지 확인하실 수 있습니다. #TECH #AI #Agent AI와 함께 일하는 새로운 방식을 탐구하며, 카카오의 AI-Native 전환을 위한 전략과 실행을 이끌어가는 Vibeworker 이호정(benedict.lee)입니다. 발표자료 보기 📍https://if.kakao.com/2025/session?sessionId=53 📍if.kakao.com if(kakao)25 홈페이지 : https://if.kakao.com/2025 #카카오 #kakao #이프카카오25
AI 코딩 AI에이전트 개발 로드맵 1개에 담김
컨퍼런스 if kakao
카카오톡 AI 에이전트를 위한 온디바이스 모델 최적화 및 적용
컨퍼런스 if kakao
if(kakao)25 온디바이스 환경의 제약 사항과 적용 가능한 솔루션을 소개하고, 양자화를 포함한 최적화 기술을 온디바이스에 적용하는 과정과 결과를 공유합니다. #TECH #AI #LLM 온디바이스 환경에서 언어 모델을 사용할 수 있도록 하는 것을 포함해 다양한 AI 기술을 탐색하고 적용하는 일을 하고 있는 노영만(alan.zero)입니다. 발표자료 보기 📍https://if.kakao.com/2025/session?sessionId=52 📍if.kakao.com if(kakao)25 홈페이지 : https://if.kakao.com/2025 #카카오 #kakao #이프카카오25
모바일 앱 개발 딥러닝 · 머신러닝
컨퍼런스 if kakao
사용자 발화에서 응답까지: 그래프 기반 에이전트로 동작하는 AI 서비스
컨퍼런스 if kakao
if(kakao)25 사용자 발화에서 응답까지의 과정을 그래프 기반 에이전트 구조로 풀어낸 카카오의 AI 서비스 구현 방식을 공유합니다. #TECH #PRODUCT #LLM #Agent 카카오에서 LLM을 활용해 여러 도메인의 AI서비스를 개발하고 있는 홍보미(chloe.bm)입니다. AI 서비스의 홍수 속에서 빠지지 않도록 열심히 헤엄치고 있습니다. 카카오에서 LLM을 활용해 여러 도메인의 AI서비스를 개발하고 있는 길민호(ethan.mino)입니다. 스트리밍과 안정적인 LLM 서빙에 관심이 있습니다. 발표자료 보기 📍https://if.kakao.com/2025/session?sessionId=34 📍if.kakao.com if(kakao)25 홈페이지 : https://if.kakao.com/2025 #카카오 #kakao #이프카카오25
AI에이전트 개발
컨퍼런스 if kakao
필요한 순간 먼저 말을 걸어주는 온디바이스 AI
컨퍼런스 if kakao
if(kakao)25 내 폰 안에서 AI의 도움이 필요한 대화 맥락을 감지하고, 꼭 필요한 순간 먼저 말을 걸어주는 카카오톡만의 온디바이스 AI 개발 과정을 공유합니다. #TECH #PRODUCT #AI #Agent 카카오톡에 적용되는 AI 서비스들을 기획하고 있는 김강학(chris.kh)입니다. 카카오톡에 적용되는 AI 서비스들의 모델 개발을 맡고 있는 김다인(denver.in)입니다. AI 서비스를 위한 다양한 모델 개발을 진행하고 있는 민규식 (queue.min)입니다. 발표자료 보기 📍 https://if.kakao.com/2025/session?sessionId=23 📍 if.kakao.com if(kakao)25 홈페이지 : https://if.kakao.com/2025 #카카오 #kakao #이프카카오25
AI에이전트 개발 딥러닝 · 머신러닝 자연어 처리