우리는 Customer Service에 ML을 잘못 적용하고 있었다! | 당근 ML 밋업 1회
당근 밋업 당근 · YouTube
AI 핵심 요약
당근 운영 개발팀은 게시글·채팅의 정책 위반을 탐지해 신고나 제재로 연결하는 ML 모델을 만들었지만, 전통적인 지표만으로는 운영 우선순위가 다른 위반 항목을 적절히 처리하기 어려웠습니다. 항목별 정밀도와 재현율의 요구가 다르고 여러 위반이 동시에 나타날 수 있어, 멀티레이블 분류나 모델 분리처럼 정책에 맞는 모델 설계가 필요하다고 설명했습니다. 또 딥러닝 모델의 확률이 실제 신뢰도와 어긋나 임계값 조정이 불안정해지는 문제를 해결하기 위해, 후처리 방식의 캘리브레이션을 적용하고 임계값을 배포 없이 바꾸는 어드민과 예측 로그 대시보드를 구축했습니다. 확률과 판단 근거를 운영 담당자에게 공유하면 모델 결과를 이해하고 라벨 품질을 높이는 협업에도 도움이 되며, 좋은 모델은 지표뿐 아니라 실제 운영 정책과 업무 흐름에 맞아야 한다는 점을 강조했습니다.
- 운영 정책에 따라 위반 항목별로 필요한 정밀도와 재현율의 균형이 달라지므로, 단일 임계값으로 모든 항목을 처리하지 마세요.
- 동시에 발생할 수 있는 위반 유형은 멀티클래스 분류의 확률 경쟁에 묻힐 수 있으니 멀티레이블 분류나 모델 분리를 검토하세요.
- 임계값을 조정할 때는 실시간 예측 로그와 대시보드를 활용하고, 운영 로직에 반영되는 값을 배포 없이 바꿀 수 있게 구성할 수 있습니다.
- 확률이 실제 발생 비율과 맞지 않으면 임계값 운영이 불안정해질 수 있으므로, 모델 학습 후 캘리브레이션을 적용해 보세요.
- 운영 담당자는 모델의 라벨을 만드는 협업자이기도 하므로, 예측 확률과 판단 근거를 공유해 결과를 이해하고 피드백할 수 있게 하세요.
소개
당근 ML 밋업은 당근의 머신러닝 기술, 도전 과제 및 앞으로 방향성에 대해 공유하고, 서로 네트워킹 할 수 있는 행사예요. 🥕 우리는 Customer Service에 ML을 잘못 적용하고 있었다! (이영인,천재윤/서비스 운영실) 🥕 당근 공고 살펴보기 : https://about.daangn.com/jobs/
비슷한 학습 자료
컨퍼런스 당근 밋업
ML Infrastructure with GCP | 2025 당근 GCP 밋업
컨퍼런스 당근 밋업
LLM을 프로덕션에 적용하며 배운 것들 | 당근 ML 밋업 1회
컨퍼런스 당근 밋업
당근 ML인프라 A to Z : 현재와 미래 | 당근 ML 밋업 1회
컨퍼런스 당근 밋업
1,800만이 쓰는 서비스 운영하기 | 당근 SERVER 밋업 2회
컨퍼런스 당근 밋업
당근의 성장과 함께 프로덕트를 만드는 과정에서 겪은 다양한 경험을 공유해요. 🥕 1,800만이 쓰는 서비스 운영하기 (윤연호, 윤신웅/서비스 운영실) #rubyonrails 🥕 당근 공고 살펴보기 : https://about.daangn.com/jobs/ 🥕 발표 자료 : https://daangn.notion.site/SERVER-5599a1755889426bafd4e87a0562e0b6 * 당근 Server 밋업 1회 다시보기 : https://youtube.com/playlist?list=PLaHcMRg2hoBr5s_jn5CzZrpkmHOY0N8w7&si=VRdpYyoT0bjZ3VOW
백엔드 프로그래밍 언어
컨퍼런스 당근 밋업
당근마켓 서비스를 모니터링하는 방법 | 당근 SRE 밋업 3회
컨퍼런스 당근 밋업
당근마켓 성장과 함께 쌓아온 안정적인 인프라 구축과 운영 노하우를 당근마켓 SRE 팀에서 공유합니다. 이번 SRE 밋업에서는 사내 개발자 플랫폼 개발과 관련된 다양한 세션을 준비했습니다. 🥕발표자료: https://daangn.notion.site/SRE-c62abc2b6f0347a4ace9ee9cdfc49b6b?pvs=4 🥕 당근 SRE에 지원하기: https://about.daangn.com/jobs/ * 1회 밋업 다시보기: https://youtube.com/playlist?list=PLaHcMRg2hoBqWWla-pCBSRqU-jSriiZHj * 2회 밋업 다시보기: https://youtube.com/playlist?list=PLaHcMRg2hoBqJRSlnE7Xw_QpVkf8u6ISH
데브옵스 · 인프라
컨퍼런스 SLASH
늘 고민되는 세그먼트 타겟팅, 더 효율적이고, 더 효과적으로 할 수 없을까요? ML 기반 자동 타겟팅으로 사용자 만족과 마케팅 효율 모두를 잡은 과정을 소개합니다. 김하영 / Data Scientist 토스 개발자 컨퍼런스 SLASH에 대한 자세한 정보는 👉🏻 https://toss.im/slash-24 컨퍼런스 및 세션에 대한 문의는 👉🏻 slash@toss.im 토스에 합류하고 싶다면 👉🏻 https://toss.im/career/jobs #토스 #개발자컨퍼런스 #SLASH #SLASH24 #datascience #machinelearning 유의 사항 *본 발표자료의 저작권은 연사에 있으며, 저작권자의 사전 서면 동의 없이 자료의 일부 또는 전부를 이용하거나 배포할 수 없습니다. *또한 해당 자료를 복제하여 SLASH 행사 홈페이지를 제외한 온라인상에 게재하는 행위는 연사가 동의한 저작권 및 배포전송권에 위배됩니다. *토스가 다루는 모든 개인정보는 고객...
딥러닝 · 머신러닝 프로덕트 지표 · 실험