딥(Deep)하게 오타 교정하기 / if(kakao)2022
if kakao 카카오 · YouTube
AI 핵심 요약
기존 통계 기반 검색어 교정기는 높은 정확률을 위해 편집거리를 제한해 교정 커버리지가 낮았고, 이를 개선하기 위해 오타를 정타로 바꾸는 디노이징 시퀀스-투-시퀀스 모델 ‘딥 스펠러’를 만들었습니다. 검색 로그와 관리 도구의 정타 데이터에 키보드 변환, 오류 모델, 패턴, 번역 모델 기반 노이즈 함수를 적용해 오타·정타 학습 쌍을 생성하고, 문자 단위 인코더·디코더 모델을 학습했습니다. 교정 결과의 신뢰도를 높이기 위해 입력과 출력의 언어 모델 확률을 비교하는 분류기를 추가했으며, 기존 서비스보다 오타 정확률은 13% 향상되고 정타 정확률은 1% 감소했습니다. 다양한 노이즈로 학습 데이터를 보강하는 것이 여러 오타 유형의 성능 개선에 도움이 되지만, 정타 오교정을 제어하는 장치도 함께 필요하다는 점을 보여줬습니다.
- 오타 교정은 맞춤법 규칙만으로 판단하지 말고, 검색에서 사용자가 의도한 질의를 기준으로 정의해야 합니다.
- 오타·정타 쌍이 부족하면 정타 데이터에 노이즈 함수를 적용해 학습 데이터를 보강할 수 있습니다.
- 키보드 변환, 기존 오류 모델, 패턴, 번역 모델 등 여러 방식으로 노이즈를 생성하면 다양한 오타 유형을 학습시킬 수 있습니다.
- 문자 단위 시퀀스 모델을 쓰더라도 정타를 오타로 바꾸는 부작용이 생길 수 있으므로, 언어 모델 기반 분류기로 교정 결과를 걸러야 합니다.
- 검색 로그 평가 데이터는 오타 유형을 구분해 구축하고, 리뷰어 교차 검증으로 정답의 신뢰도를 높일 수 있습니다.
소개
사용자에게 양질의 검색 결과를 제공하기 위해서는 검색어 교정이 필요합니다. 이번 발표에서는 딥러닝 모델을 이용한 검색어 오타 교정 방법과 저희가 고민했던 부분들을 소개합니다. #NLP #검색 카카오 엔터프라이즈 AI Assistant팀 다니엘입니다. 텍스트와 발화의 오타 교정 업무를 담당하고 있습니다. 데이터 관찰을 좋아하는 개발자입니다. 발표자료 보기 👉https://speakerdeck.com/kakao/ifkakao22-72 if(kakao)2022에 대한 자세한 정보는 👉 https://if.kakao.com if(kakao)2022에 대한 문의는 👉 if@kakaocorp.com #카카오 #이프카카오 #개발자컨퍼런스 #기술 #개발 #ifkakao2022
비슷한 학습 자료
컨퍼런스 if kakao
업무 효율화를 위한 카카오 사내봇 개발기 / if(kakaoAI)2024
컨퍼런스 if kakao
카카오 내에 수많은 데이터에서 원하는 데이터를 빠르게 찾아주는 '0depth 사내봇 개발기'를 공유합니다. #Data #AI #LLM #RAG 카카오 데이터 조직의 Tory입니다. 실용적이고 사용자 친화적인 AI Application을 만드는 것에 관심이 많습니다. 카카오 내에 다양한 AI 프로덕트를 생산하는 Jennie입니다. 발표자료 보기 👉 https://speakerdeck.com/kakao/ifkakao24-27 if(kakaoAI)2024에 대한 자세한 정보는 👉 https://if.kakao.com #카카오 #이프카카오 #개발자컨퍼런스 #AI #기술 #개발 #ifkakaoAI2024
AI에이전트 개발
컨퍼런스 if kakao
AI 를 통해 스팸을 대응하는 카카오의 노력 / if(kakaoAI)2024
컨퍼런스 if kakao
LLM, LMM, RAG와 같은 관심이 높은 AI 기술들이 사람을 도와주기 위해 실제로 어떻게 활용되는지 소개합니다. 특히, 라벨링을 개선하고 유해 콘텐츠를 분류하며, AI 챗봇의 윤리성을 검토하는 방법을 실제 사례를 중심으로 다룹니다. #AI #유해콘텐츠 #라벨링 #LLM #LMM 서버 개발자에서 세월의 흐름에 이끌려 AI를 연구하고 있는 Herschel입니다. 진정한 풀스택개발자를 꿈꾸고 있습니다. 카카오에서 스팸 차단 AI를 연구하는 Zoey입니다. LLM으로 안전한 디지털 환경을 만들고자 합니다. 발표자료 보기 👉 https://speakerdeck.com/kakao/ifkakao24-16 if(kakaoAI)2024에 대한 자세한 정보는 👉 https://if.kakao.com #카카오 #이프카카오 #개발자컨퍼런스 #AI #기술 #개발 #ifkakaoAI2024
AI에이전트 개발
컨퍼런스 if kakao
공공데이터를 활용한 RAG 기술 구현 및 프레임워크 소개 / if(kakaoAI)2024
컨퍼런스 if kakao
LLM 응답의 신뢰도를 높이기 위한 방법론인 RAG를 효과적으로 구현하기 위해 필요한 구조 및 데이터 가공방식을 소개합니다. #RAG #청킹 #검색 #대화형 인터페이스 검색 모델을 고도화하기 위해 인공지능 기술을 접목한 랭킹 모델과 신규 Feature를 개발하고 있는 Ian입니다. 발표자료 보기 👉 https://speakerdeck.com/kakao/ifkakao24-10 if(kakaoAI)2024에 대한 자세한 정보는 👉 https://if.kakao.com #카카오 #이프카카오 #개발자컨퍼런스 #AI #기술 #개발 #ifkakaoAI2024
AI에이전트 개발 자연어 처리 로드맵 6개에 담김
컨퍼런스 if kakao
카카오가 생각하는 접근성 / if(kakao)2022
컨퍼런스 if kakao
서비스를 만들고 운영하는데 참여하는 모든 직군 #장애인 #접근성 #a11y #iOS #Android #Windows 디지털 접근성 책임자(DAO)로 카카오와 공동체의 다양한 서비스들 장애인이 어려움 없이 이용할 수 있는 환경을 만들기 위해 노력하고 있다. 접근성을 단기적 배려의 차원을 벗어나 지속적 모델로 체계화 시키고 비즈니스의 한 분야로 선순환 구조를 만들어 가는데 관심을 가지고 있다. 발표자료 보기 👉https://speakerdeck.com/kakao/ifkakao22-98 if(kakao)2022에 대한 자세한 정보는 👉 https://if.kakao.com if(kakao)2022에 대한 문의는 👉 if@kakaocorp.com #카카오 #이프카카오 #개발자컨퍼런스 #기술 #개발 #ifkakao2022
UI/UX
컨퍼런스 if kakao
Preview data / if(kakao)2022
컨퍼런스 if kakao
if(kakao)2022 컨퍼런스에서 data 관련 기술 발표세션을 소개합니다. 02:24 1. Batch Performance 극한으로 끌어올리기: 1억 건 데이터 처리를 위한 노력 by 안성훈(benny.ahn) 카카오페이 정산플랫폼팀 베니입니다. 서버 Performance 개선에 관심이 많습니다. 02:38 2. InnoDBCluster for kakao by 김근표(pio.p) 카카오에서 MySQL Database 를 운영하고 있는 피오입니다. 03:12 3. Kakao Hadoop Plaform (KHP): 카카오 하둡 플랫폼의 아키텍처와 개발/운영에 대한 이야기 by 국성표(elixir.kook) 카카오 내 하둡 클러스터를 효율적으로 운영하기 위해 힘쓰고 있습니다. KHP 프로젝트 중에는 배포판 PL을 맡았으며, 최근에는 Spark, Kafka 관련 업무를 수행하고 있습니다. 03:34 4. 생성부터 활용까지, 게임데이터 Flow 따라가기 by 이학희(kyle.l...
데이터베이스 데브옵스 · 인프라
컨퍼런스 if kakao
한국어 오픈도메인 질의응답 시스템 2.0 / if(kakao)2022
컨퍼런스 if kakao
카카오엔터프라이즈 AI Assistant 팀에서는 대량의 텍스트 데이터 내에서 이용자가 물어보는 내용에 대한 답을 빠르고 정확하게 찾아주는 시스템인 오픈도메인 질의응답 모델을 연구하고 있습니다. 본 세션에서는 AI Assistant팀의 오픈도메인 질의응답 모델에 대해 소개하고, 빠른 속도와 높은 정확도를 어떻게 달성했는지 설명합니다. #NLP #OpenDomainQuestionAnswering 카카오엔터프라이즈 AI Assistant 팀 필입니다. 질의응답 시스템을 비롯한 다양한 한국어 자연어처리 기술을 연구하고 있습니다. 발표자료 보기 👉https://speakerdeck.com/kakao/ifkakao22-70 if(kakao)2022에 대한 자세한 정보는 👉 https://if.kakao.com if(kakao)2022에 대한 문의는 👉 if@kakaocorp.com #카카오 #이프카카오 #개발자컨퍼런스 #기술 #개발 #ifkakao2022
자연어 처리