초거대모델 학습을 위한 이미지-텍스트 데이터셋: COYO-700M: Large-scale Image-Text Pair Dataset / if(kakao)2022
if kakao 카카오 · YouTube
AI 핵심 요약
초거대 이미지-텍스트 모델의 연구를 재현하려면 학습 데이터가 필요하지만, 기존 주요 데이터셋은 공개되지 않아 카카오브레인이 직접 COYO를 구축했다. Common Crawl 웹페이지에서 이미지와 대체 텍스트를 수집한 뒤 이미지·텍스트 품질, 중복, 유해성 등을 필터링하고 CLIP 유사도와 워터마크·미적 점수 등 다양한 메타데이터를 추가했다. 이렇게 만든 COYO-700M은 7억 4천만 개의 이미지-텍스트 쌍을 포함하며, 파케이 형식으로 공개해 조건별 데이터 선별과 분석에 활용할 수 있도록 했다. COYO로 이미지-텍스트 모델과 이미지 생성 모델을 학습해 데이터셋의 활용 가능성을 확인했으며, 안전성과 품질을 높이는 일이 앞으로의 과제로 제시됐다.
- 웹 이미지와 설명을 연결할 때는 HTML 이미지 태그의 대체 텍스트를 활용할 수 있다.
- 이미지 크기·텍스트 길이·중복 여부·유해성 등을 단계별로 필터링해 학습 데이터의 품질과 안전성을 관리한다.
- CLIP 유사도, 워터마크, 미적 점수, 얼굴 수 같은 메타데이터를 제공하면 목적에 맞는 데이터 부분집합을 만들기 쉽다.
- 데이터셋을 검증할 때는 이미지-텍스트 검색과 이미지 생성 등 실제 모델 학습 과제로 성능을 확인할 수 있다.
소개
카카오브레인에서 공개한 7억개 이미지-텍스트 데이터셋을 소개합니다 #DataSet #Large-scale 카카오브레인 라지스케일엔지니어링팀에서 분산학습과 데이터 기술을 연구하고 있는 딜런입니다. 발표자료 보기 👉https://speakerdeck.com/kakao/ifkakao22-20 if(kakao)2022에 대한 자세한 정보는 👉 https://if.kakao.com if(kakao)2022에 대한 문의는 👉 if@kakaocorp.com #카카오 #이프카카오 #개발자컨퍼런스 #기술 #개발 #ifkakao2022
비슷한 학습 자료
컨퍼런스 if kakao
데이터는 없지만 LLM은 학습하고 싶어 - Code, Math 데이터 개발기
컨퍼런스 if kakao
if(kakao)25 효과적인 모델 학습을 위한 자체 데이터 수집 파이프라인 구축 경험을 공유합니다. #TECH #AI #LLM 카카오에서 대용량 데이터 처리와 효율적인 언어 모델 학습 방법을개발하는 정두해(wavy.jung)입니다. 카카오에서 LLM 학습에 필요한 고품질 데이터 수집 파이프라인과 효과적인 사전 학습 방법을 개발하는 김나연(lana.ny)입니다. 발표자료 보기 📍https://if.kakao.com/2025/session?sessionId=48 📍if.kakao.com if(kakao)25 홈페이지 : https://if.kakao.com/2025 #카카오 #kakao #이프카카오25
딥러닝 · 머신러닝 자연어 처리
컨퍼런스 if kakao
AI 기반 광고 콘텐츠 모니터링 기술 개발기 / if(kakaoAI)2024
컨퍼런스 if kakao
부적절한 광고소재 콘텐츠의 모니터링을 위해 사용한 이미지-텍스트 유사도 도출 모델의 소개와 학습 과정, 이를 고도화하기 위한 기술 개발 과정과, 기반 기술을 활용한 응용 사례를 소개합니다. #AI #광고소재필터링 #MultiModal Adaptive AI에서 다양한 인공지능 모델들을 학습하고 개발하는 Queue입니다! 최근에는 다양한 멀티모달 모델들에 대한 학습을 진행하고 있습니다! 발표자료 보기 👉 https://speakerdeck.com/kakao/ifkakao24-33 if(kakaoAI)2024에 대한 자세한 정보는 👉 https://if.kakao.com #카카오 #이프카카오 #개발자컨퍼런스 #AI #기술 #개발 #ifkakaoAI2024
딥러닝 · 머신러닝 컴퓨터 비전
컨퍼런스 if kakao
카카오의 프로필 이미지 생성 기술이 어떻게 탄생했는지 Personalized Text to Image 연구 과정을 소개합니다. 실제 촬영 사진과 같은 고품질 인물 이미지 생성을 목표로 Diffusion 모델의 학습 과정과 평가 방법을 공유하고, 이 과정에서 마주한 도전 과제와 한계점, 향후 목표를 알아봅니다. #Kanana #MultiModal #T2I #이미지생성 카카오의 카나나 알파 조직에서 생성형 모델을 이용해 AI 프로필을 연구하는 Ted입니다. 세상을 변화시키는 AI 모델과 함께 다양한 기술에 관심이 많습니다. 발표자료 보기 👉 https://speakerdeck.com/kakao/ifkakao24-8 if(kakaoAI)2024에 대한 자세한 정보는 👉 https://if.kakao.com #카카오 #이프카카오 #개발자컨퍼런스 #AI #기술 #개발 #ifkakaoAI2024
딥러닝 · 머신러닝
컨퍼런스 if kakao
이미지까지 이해하는 Multimodal LLM의 학습 방법 밝혀내기 / if(kakaoAI)2024
컨퍼런스 if kakao
CVPR 2024에 하이라이트 논문으로 선정된 카카오의 자체 멀티모달 LLM을 소개하고, 이후 최근까지의 개선 과정을 통해 얻은 인사이트와 노하우를 공유합니다. #Kanana #MultiModal 카나나 알파 조직의 Multimodal LLM Core 팀원 Edwin입니다. 기존의 텍스트 모달리티만을 다루는 LLM에서 더 나아가 시각, 음성을 포함한 다양한 모달리티를 이해하고 반응할 수 있도록 하는 방법에 대해 연구하고 있습니다. 발표자료 보기 👉 https://speakerdeck.com/kakao/ifkakao24-7 if(kakaoAI)2024에 대한 자세한 정보는 👉 https://if.kakao.com #카카오 #이프카카오 #개발자컨퍼런스 #AI #기술 #개발 #ifkakaoAI2024
딥러닝 · 머신러닝 컴퓨터 비전
컨퍼런스 if kakao
카카오브레인의 텍스트 기반 이미지 생성 기술 소개 / ifkakaodev2022
컨퍼런스 if kakao
Preview AI_2 / if(kakao)2022
컨퍼런스 if kakao
if(kakao)2022 컨퍼런스에서 AI_2 관련 기술 발표 트랙을 소개합니다. 01:27 1. 초거대모델 학습을 위한 이미지-텍스트 데이터셋: COYO-700M: Large-scale Image-Text Pair Dataset by 변민우(dylan.m) 카카오브레인 라지스케일엔지니어링팀에서 분산학습과 데이터 기술을 연구하고 있는 딜런입니다. 01:54 2. 카카오브레인의 텍스트 기반 이미지 생성 기술 소개 by 김세훈(sam.ksh) 카카오브레인에서 생성 모델을 개발하고 있는 연구원입니다. 02:11 3. 코끼리를 GPU에 넣는법: 실용적인 라지스케일 AI 학습을 위한 최적화 사례 공유 by 조상훈(monk.detective) 카카오브레인 Large-Scale AI Studio의 Monk 입니다. 라지스케일 AI를 실용적으로 사용하기 위해 항상 고민 중입니다. 02:42 4. 이 세상 모든 물체를 검출할 수 있는 AI 기술을 만들 수 있을까요?: 물체 검출 기술의 과거...
딥러닝 · 머신러닝 컴퓨터 비전