Preview Data @if(kakao)2021
if kakao 카카오 · YouTube
AI 핵심 요약
첫 번째 발표는 대량의 스트림 데이터를 실시간으로 분류할 때 데이터와 분류 조건이 늘어나며 생기는 처리 문제를 다루고, Elasticsearch Percolator를 활용하는 방법을 소개한다. 두 번째 발표는 광고주별 전환 최적화 타게팅 모델을 딥러닝으로 전환하며 겪은 대규모 학습 데이터 처리와 모델 튜닝의 어려움을 공유한다. 데이터 볼륨과 처리 시간, 하둡의 병목 구간을 살펴보고 모델 성능을 유지하면서 데이터를 줄일 방법을 선택한 경험이 중심이다.
- Elasticsearch Percolator는 저장된 조건에 새로 들어온 문서를 대조하는 방식으로 스트림 데이터 분류에 활용할 수 있다.
- 대규모 학습에서는 데이터 처리 시간과 하둡 작업의 병목 구간을 먼저 파악해야 한다.
- 데이터를 줄일 때는 모델 성능과 처리 효율을 함께 고려해 상황에 맞는 방법을 선택해야 한다.
- Airflow 2.0, Druid 등 다른 세션의 구체적인 내용은 제공된 자막만으로 확인하기 어렵다.
소개
if (kakao) 2021 컨퍼런스에서 Data 관련 기술 발표 세션을 소개합니다. 1. 대량의 스트림 데이터를 실시간으로 분류하기 @rick.lee 대량의 스트림 데이터를 실시간으로 분류하면서 늘어나는 데이터와 분류 조건으로 발생하는 문제들을 Elasticsearch Percolator를 활용해 개선하는 방법을 공유합니다. 2. 300GB 데이터로 어떻게 학습을 할 수 있을까? @peter.han 광고추천팀에서 전환최적화 타게팅 모델을 딥러닝으로 전환하면서 학습 데이터의 규모가 크고 광고주 별로 많은 모델을 처리하다보니 많은 어려움을 겪었습니다. 모델의 성능/효율을 유지하면서 어떻게 하면 데이터를 줄일 수 있을까 고민하고 튜닝했던 경험들을 공유합니다. 목차 : 1. 데이터의 볼륨과 데이터의 처리 시간 2. 하둡 데이터를 처리할 때 병목구간 3. 데이터를 줄이기 위한 방법들에는 어떤 것들이 있는지 소개하고 우리 상황에 적합한 방법을 선택한 과정 3. 추천 시스템 ai...
비슷한 학습 자료
컨퍼런스 if kakao
데이터는 없지만 LLM은 학습하고 싶어 - Code, Math 데이터 개발기
컨퍼런스 if kakao
if(kakao)25 효과적인 모델 학습을 위한 자체 데이터 수집 파이프라인 구축 경험을 공유합니다. #TECH #AI #LLM 카카오에서 대용량 데이터 처리와 효율적인 언어 모델 학습 방법을개발하는 정두해(wavy.jung)입니다. 카카오에서 LLM 학습에 필요한 고품질 데이터 수집 파이프라인과 효과적인 사전 학습 방법을 개발하는 김나연(lana.ny)입니다. 발표자료 보기 📍https://if.kakao.com/2025/session?sessionId=48 📍if.kakao.com if(kakao)25 홈페이지 : https://if.kakao.com/2025 #카카오 #kakao #이프카카오25
딥러닝 · 머신러닝 자연어 처리
컨퍼런스 if kakao
광고추천 조직의 Ai MLOps - Yggdrasil 시스템 중 Feature Store 플랫폼에 대해서 소개합니다. 데이터 사이언티스트 친화적으로 구축하여 학습 및 추론 요구사항을 만족시키고, 효율적이며 일관적인 피처 관리를 달성한 점을 중점적으로 다룹니다. 특히, raw data로부터 feature를 추출하여 적절히 가공하고, 페타바이트 이상의 조단위 건의 대용량 데이터를 처리하는 내용을 공유하고자 합니다. #AI #FeatureStore #MLOps #Data 광고추천개발에서 데이터 엔지니어링을 하고 있는 Ben입니다. 광고추천 조직의 Eli입니다. MLOps 의 Feature, 모델을 기술적으로 다루는 업무를 하고 있습니다. 발표자료 보기 👉 https://speakerdeck.com/kakao/ifkakao24-19 if(kakaoAI)2024에 대한 자세한 정보는 👉 https://if.kakao.com #카카오 #이프카카오 #개발자컨퍼런스 #AI #기술...
데이터베이스 딥러닝 · 머신러닝
컨퍼런스 if kakao
Preview data / if(kakao)2022
컨퍼런스 if kakao
if(kakao)2022 컨퍼런스에서 data 관련 기술 발표세션을 소개합니다. 02:24 1. Batch Performance 극한으로 끌어올리기: 1억 건 데이터 처리를 위한 노력 by 안성훈(benny.ahn) 카카오페이 정산플랫폼팀 베니입니다. 서버 Performance 개선에 관심이 많습니다. 02:38 2. InnoDBCluster for kakao by 김근표(pio.p) 카카오에서 MySQL Database 를 운영하고 있는 피오입니다. 03:12 3. Kakao Hadoop Plaform (KHP): 카카오 하둡 플랫폼의 아키텍처와 개발/운영에 대한 이야기 by 국성표(elixir.kook) 카카오 내 하둡 클러스터를 효율적으로 운영하기 위해 힘쓰고 있습니다. KHP 프로젝트 중에는 배포판 PL을 맡았으며, 최근에는 Spark, Kafka 관련 업무를 수행하고 있습니다. 03:34 4. 생성부터 활용까지, 게임데이터 Flow 따라가기 by 이학희(kyle.l...
데이터베이스 데브옵스 · 인프라
컨퍼런스 if kakao
신규 키워드 광고 플랫폼을 오픈하고 나서, 대량의 광고데이터에 대해 다양한 필터 조건들을 적용하여 데이터를 보고 싶다는 요구사항이 확인되어 프로젝트를 진행하게 되었습니다. 데이터의 양이 많았기 때문에 단순히 애플리케이션에서 모든 것을 처리할 수 없었고, 필터 기능을 위해 사용할 데이터 저장소부터 필터 관련 로직 설계까지 다시 고민해야 했습니다. 이번 세션을 통해서 필터 기능을 제공하기 위해 Elasticsearch를 먼저 검토했으나 결국에는 citus라는 데이터 저장소를 사용하는 것으로 결정하게 된 과정을 공유하고자 합니다. #Citus 카카오 crux개발2셀에서 서버 개발을 담당하고 있는 제노스라고 합니다. 발표자료 보기 👉https://speakerdeck.com/kakao/ifkakao22-25 if(kakao)2022에 대한 자세한 정보는 👉 https://if.kakao.com if(kakao)2022에 대한 문의는 👉 if@kakaocorp.c...
백엔드 데이터베이스
컨퍼런스 if kakao
Preview AI_2 @if(kakao)2021
컨퍼런스 if kakao
if (kakao) 2021 컨퍼런스에서 AI 관련 기술 발표 세션을 소개합니다. 1. AI 장면 분석을 통한 비디오 인코딩 최적화 @darren.thkim 동영상 인코딩을 위한 최적의 설정을 어떻게 찾을 수 있을까요? AI를 활용한 인코딩 최적화의 실제 사례를 중심으로 최적화와 분산 인코딩에 대해서 알아봅시다. 2. DFerence, 클라우드 기반 AI 서빙 플랫폼 @bran.p 맨땅에서부터 k8s를 사용하여 GPU shared inference Platform 을 만든 과정에서 얻은 경험과 지식을 공유합니다. 3. 카카오엔터프라이즈 딥러닝 음성 합성 기술 @jeff.rey @taylor.martin @satoshi.2020 카카오엔터프라이즈에서는 더욱 자연스럽고 고품질의 음성을 만들어내기 위한 음향 모델과 보코더 기술을 개발하였습니다. 또한, 보다 사람 같은 음성합성을 위한 스타일 변환 기술도 소개합니다. 4. Tips for transfer learning @mic...
데브옵스 · 인프라 딥러닝 · 머신러닝 컴퓨터 비전
컨퍼런스 if kakao
Preview AI_1 @if(kakao)2021
컨퍼런스 if kakao
if (kakao) 2021 컨퍼런스에서 AI 관련 기술 발표 세션을 소개합니다. 1. TensorFlow Serving보다 10배 빠르게 서빙하기 @jesse.ha 텐서플로우로 만든 딥러닝 모델을 서비스에서 사용하기 위해 인퍼런스 서버를 구축하는 과정에서 코드 레벨/도메인 레벨/Layer Fusion/구현 레벨 등 다양한 관점에서의 최적화를 통해 TensorFlow Serving보다 10배 빠르게 만든 과정을 공유합니다. 2. ML로 기프트권 받을 유저 정하기 @yul.kk ML을 사용하여 픽코마 무료 에피소드 열람 기프트권 발송을 효율적으로 해결한 방법에 대해 설명합니다. Feature 생성 및 선정과 실서비스 적용 시 주의했던 점들을 공유합니다. 3. BERT보다 10배 빠른 BERT 모델 구축 @marko.k BERT는 NLP 분야에서 SOTA 모델이지만 학습하는데 많은 시간과 컴퓨팅 리소스가 필요합니다. 기존 BERT 대비 10배 더 빠르게 학습시키고 성능도 더 좋...
딥러닝 · 머신러닝 자연어 처리