Google Cloud Platform에서 시간과 비용과 성능 세 마리 토끼를 잡는 daily batch 구축기 / if(kakaoAI)2024
if kakao 카카오 · YouTube
AI 핵심 요약
카카오헬스케어는 여러 병원의 서로 다른 RDBMS에서 데이터를 가져와 연구용 공통 데이터 웨어하우스로 만드는 일일 ETL을 구축하면서, 병원 DB 부하와 새벽 작업 시간, 클라우드 비용을 함께 관리해야 했습니다. Dataproc의 Spark 클러스터와 Cloud Composer(Airflow)를 사용해 테이블 크기에 맞는 리소스와 동시 실행 수를 조정하고, 병원별 제약을 확인해 분할 추출했으며, 상세 로깅과 대시보드로 병목과 실제 DB 부하를 추적했습니다. 수천 개의 작업은 ETL 단위 DAG와 상위 트리거 DAG로 구성해 실패한 단계만 재실행하도록 했고, 조회 성능은 PostgreSQL의 커버링 인덱스·PG Warm·중간 마트와 AlloyDB의 컬럼 엔진을 활용해 개선했습니다. 반복적인 측정과 실험을 통해 제한된 시간 안에 배치를 운영하고 비용과 성능을 함께 최적화하려면, 관측 가능성을 확보한 뒤 워크로드에 맞춰 자원을 조정해야 한다는 점을 보여줬습니다.
- 병원 DB의 네트워크·CPU·메모리 여건과 인덱스를 먼저 확인하고, 동시 접속 수와 분할 추출 방식을 병원과 협의하세요.
- 테이블 크기에 맞춰 Spark 리소스 프로파일을 나누고 Airflow 동시 실행 수를 조절하면 자원을 더 효율적으로 쓸 수 있습니다.
- 단계별 시작·종료 시각을 기록하면 병목을 찾고, 소스 시스템에 실제로 부하를 준 시간을 근거로 설명할 수 있습니다.
- Airflow에서는 ETL 단위로 재실행 가능하게 만들고 상위 트리거 DAG로 의존성을 관리해 실패한 단계에 작업을 격리하세요.
- PostgreSQL의 커버링 인덱스와 PG Warm을 활용하고 조인을 줄이는 중간 마트를 두면 반복 조회 성능을 개선할 수 있습니다.
소개
Google Cloud Platform에서 다양한 소스에서 매일 ETL하는 파이프라인에는 매일 실행되는 만큼 시간/비용/성능을 모두 고려해야 합니다. AlloyDB로 비싼 인메모리 디비와 근접한 성능 내기, 소스DB에 부하가 거의 없이 매일 ETL 했던 사례, 수천개의 테이블의 ETL을 효율적으로 스케줄링한 경험을 공유합니다. #Data #리소스최적화 카카오헬스케어에서 데이터 플랫폼을 개발하고 있는 Grey입니다. 발표자료 보기 👉 https://speakerdeck.com/kakao/ifkakao24-73 if(kakaoAI)2024에 대한 자세한 정보는 👉 https://if.kakao.com #카카오 #이프카카오 #개발자컨퍼런스 #AI #기술 #개발 #ifkakaoAI2024
비슷한 학습 자료
컨퍼런스 if kakao
대용량 데이터베이스 동기화를 위한 최적의 CDC 시스템 구축기 / if(kakaoAI)2024
컨퍼런스 if kakao
카카오 내 다양한 서비스의 데이터를 한 곳으로 응집하기 위한 대규모 CDC 파이프라인을 구축한 사례를 소개합니다. Flink와 Kafka Connect를 통해 수십억 건의 데이터를 MySQL과 Iceberg 까지 연동하는 과정에서 맞닥뜨린 어려움과 해결 방안을 공유합니다. #Data #CDC #Debezium #Flink #Iceberg #Spark 카카오 전사 데이터 조직의 데이터 엔지니어 Dawn입니다. 카카오의 방대하고 다양한 데이터를 효율적으로 처리하는 대규모 CDC 파이프라인을 개발하고 있습니다. flink와 kafka를 활용하여 여러 시도를 하고 있는 Louis입니다. 요즘은 flink로 iceberg에 데이터를 적재하는 것에 집중하고 있어요. 발표자료 보기 👉 https://speakerdeck.com/kakao/ifkakao24-77 if(kakaoAI)2024에 대한 자세한 정보는 👉 https://if.kakao.com #카카오 #이프카카오 #개발...
데이터베이스 데브옵스 · 인프라
컨퍼런스 if kakao
Kubernetes 지능형 리소스 최적화 / if(kakaoAI)2024
컨퍼런스 if kakao
"쿠버네티스 클러스터에 구성된 서비스의 리소스를 어떻게 관리하고 계신가요?" 에서 비롯된 지능형 리소스 최적화 시스템 구축 프로젝트 과정을 소개합니다. 이 영상을 통해 효율적 리소스 관리를 통한 비용절감 방법을 공유합니다. #Kubernetes #리소스최적화 #finops 카카오페이증권 DevOps팀 Steve입니다. 카카오페이증권 서비스들을 위한 플랫폼 구축 및 운영, 표준화를 담당하고 있습니다. 발표자료 보기 👉 https://speakerdeck.com/kakao/ifkakao24-74 if(kakaoAI)2024에 대한 자세한 정보는 👉 https://if.kakao.com #카카오 #이프카카오 #개발자컨퍼런스 #AI #기술 #개발 #ifkakaoAI2024
데브옵스 · 인프라 클라우드
컨퍼런스 if kakao
카카오 서비스들은 어떻게 CI/CD 를 하는가? / if(kakaoAI)2024
컨퍼런스 if kakao
수 천개의 쿠버네티스 멀티 클러스터 위에서 동작하는 카카오의 서비스들이 어떻게 CI/CD를 하는 지를 설명하고, GitOps, MSA 등의 개발 철학을 지키면서 클라우드 전환 이후 생긴 문제들을 해결하기 위한 CI/CD Pipeline 플랫폼 설계에 필요했던 고민을 공유하려 합니다. 또한 외부 솔루션 사용에 대한 고민, 자체 서비스 구축을 통한 비용 절감에, 두 번의 리팩토링을 통해 얻은 교훈들 그리고 시간을 돌려 다시 만든다면 어떤 부분을 다르게 할 것인지에 대한 생각도 함께 전합니다. #cloud #CI/CD 카카오 클라우드 컴퓨팅에서 CI/CD 플랫폼을 개발 운영하고 있는 Peny입니다. 발표자료 보기 👉 https://speakerdeck.com/kakao/ifkakao24-70 if(kakaoAI)2024에 대한 자세한 정보는 👉 https://if.kakao.com #카카오 #이프카카오 #개발자컨퍼런스 #AI #기술 #개발 #ifkakaoAI2024
데브옵스 · 인프라
컨퍼런스 if kakao
업무 효율화를 위한 카카오 사내봇 개발기 / if(kakaoAI)2024
컨퍼런스 if kakao
카카오 내에 수많은 데이터에서 원하는 데이터를 빠르게 찾아주는 '0depth 사내봇 개발기'를 공유합니다. #Data #AI #LLM #RAG 카카오 데이터 조직의 Tory입니다. 실용적이고 사용자 친화적인 AI Application을 만드는 것에 관심이 많습니다. 카카오 내에 다양한 AI 프로덕트를 생산하는 Jennie입니다. 발표자료 보기 👉 https://speakerdeck.com/kakao/ifkakao24-27 if(kakaoAI)2024에 대한 자세한 정보는 👉 https://if.kakao.com #카카오 #이프카카오 #개발자컨퍼런스 #AI #기술 #개발 #ifkakaoAI2024
AI에이전트 개발
컨퍼런스 if kakao
카카오 분석플랫폼 변천사 / if(kakao)2022
컨퍼런스 if kakao
카카오내 수천억건이 넘는 데이터 환경에서 비즈니스 의사 결정을 도울 수 있는 데이터 분석플랫폼을 구축한 사례를 분석 플랫폼의 변화 과정을 통해 공유 드리고자 합니다. #AnalysisPlatform 카카오 데이터 연구실에서 데이터분석플랫폼을 개발하고 있는 jay 라고 합니다. 발표자료 보기 👉https://speakerdeck.com/kakao/ifkakao22-61 if(kakao)2022에 대한 자세한 정보는 👉 https://if.kakao.com if(kakao)2022에 대한 문의는 👉 if@kakaocorp.com #카카오 #이프카카오 #개발자컨퍼런스 #기술 #개발 #ifkakao2022
데이터베이스 인공지능 기타
컨퍼런스 if kakao
수 천만 건 이상의 대량 배치처리를 하기 위한 최고의 노하우를 전달드리겠습니다. 카카오페이 정산플랫폼팀은 카카오페이의 빠른 성장과 더불어 늘어나는 데이터를 일괄처리하기 위하여 꾸준히 노력 하고 있습니다. 더 많은 데이터를 처리하기 위해 진화하는 서비스와 개발방식을 소개하고자 합니다. #BatchPerformance #SpringBatch #SpringCloudDataFlow #Kubernetes #Redis 카카오페이 정산플랫폼팀 베니입니다. 서버 Performance 개선에 관심이 많습니다. 발표자료 보기 👉https://speakerdeck.com/kakao/ifkakao22-065 if(kakao)2022에 대한 자세한 정보는 👉 https://if.kakao.com if(kakao)2022에 대한 문의는 👉 if@kakaocorp.com #카카오 #이프카카오 #개발자컨퍼런스 #기술 #개발 #ifkakao2022
백엔드 데이터베이스 데브옵스 · 인프라