서버리스에서 쿠버네티스로 - Airflow 운영 경험기
김영준 컬리 · 컬리 기술 블로그
AI 핵심 요약
컬리는 관리형 Airflow를 Kubernetes로 옮겨 성능과 비용을 최적화하는 과정에서 스케줄러 CPU 급등, 워커 OOM, 실행 로그 누락과 태스크 지연을 겪었다. DAG 분석 주기를 조정하고, 메모리 request·limit과 Taint·Tolerations로 자원을 격리했으며, 로그 상태와 실행 흐름을 추적해 워커 수를 늘리는 방식으로 지연을 줄였다. 전환 후 관리형 서비스의 고정 비용이 Kubernetes 노드 비용으로 바뀌며 약 50% 감소했고, 로그 수집과 모니터링을 더 고도화해야 한다는 과제도 확인했다. 운영 환경을 직접 관리하면 시행착오가 따르지만, 원인을 추적하고 조정하는 경험이 Airflow와 Kubernetes에 대한 기술 역량을 높인다는 점을 배웠다.
- DAG 변경이 잦지 않다면 `min_file_process_interval`을 늘려 스케줄러의 파일 분석 빈도와 CPU 사용량을 낮출 수 있다.
- Kubernetes의 메모리 OOM은 컨테이너·kubelet·OS 수준에서 발생할 수 있으므로 사용량을 관찰해 적절한 request와 limit을 설정해야 한다.
- 컴포넌트별 자원 요구량이 다르면 네임스페이스 전체에 일괄 제한을 두기보다 Taint와 Tolerations로 노드를 분리하는 방식을 검토할 수 있다.
- Airflow 태스크가 `scheduled`에서 `queued`로 넘어가는 흐름을 알면 로그가 남지 않은 실행의 원인을 좁히는 데 도움이 된다.
- 워커의 동시 처리량이 부족할 때는 자원 증설뿐 아니라 워커 수를 늘리는 스케일 아웃도 선택지가 된다.
소개
서버리스 Airflow를 쿠버네티스 환경으로 전환하며 경험한 삽질들
비슷한 학습 자료
컨퍼런스 if kakao
카카오에서는 Kubernetes 상에서 동작하는 다양한 컨트롤러들을 개발하고 사용하고 있습니다. 이러한 컨트롤러를 통해 Loadbalancer, DNS, ACL, Vault 등 다양한 리소스들을 쿠버네티스 상에서 다룰 수 있게 되었지만, 컨트롤러에 버그가 있을 경우 같은 클러스터안에서 작동중인 모든 서비스에 치명적인 결과를 가져올 수 있어 가능하면 단순한 로직과 높은 안정성이 요구됩니다. 본 세션에서는 어떻게 이 컨트롤러를 테스트 가능하게 개발할 수 있는지에 대해서 다룹니다. #Kubernetes #Controller #Operator #Test 카카오에서 클라우드 플랫폼을 개발하고 있는 스카티입니다. Human Computer Interaction (HCI) 에 관심이 많으며, 일하면서 틈틈히 개발자를 위한 HCI 라는 주제에 대해 생각해보고 있습니다. 하지만 이번발표에서는 순수하게 개발적인 내용만 다룹니다. 발표자료 보기 👉https://speakerdeck.co...
소프트웨어 테스트 데브옵스 · 인프라 로드맵 1개에 담김
컨퍼런스 SLASH
토스ㅣSLASH 24 - Kubernetes CPU 알뜰하게 사용하기
컨퍼런스 SLASH
서버를 증설하지 않으면서 트래픽을 2배 이상 받으려면 어떻게 해야 할까요? Kubernetes 환경에서 CPU를 최적화한 경험을 나눕니다. 김동석 / DevOps Team Leader 이재성 / DevOps Team Leader 토스 개발자 컨퍼런스 SLASH에 대한 자세한 정보는 👉🏻 https://toss.im/slash-24 컨퍼런스 및 세션에 대한 문의는 👉🏻 slash@toss.im 토스에 합류하고 싶다면 👉🏻 https://toss.im/career/jobs #토스 #개발자컨퍼런스 #SLASH #SLASH24 #devops #kubernetes #토스뱅크 유의 사항 *본 발표자료의 저작권은 연사에 있으며, 저작권자의 사전 서면 동의 없이 자료의 일부 또는 전부를 이용하거나 배포할 수 없습니다. *또한 해당 자료를 복제하여 SLASH 행사 홈페이지를 제외한 온라인상에 게재하는 행위는 연사가 동의한 저작권 및 배포전송권에 위배됩니다. *토스가 다루는 모...
데브옵스 · 인프라
책 바스 하렌슬락 예스24
Apache Airflow 기반의 데이터 파이프라인
책 바스 하렌슬락 예스24
Airflow 설치부터 파이프라인 작성, 테스트, 분석, 백필 그리고 배포 및 관리까지를 한 권으로 해결! 이 책은 효과적인 데이터 파이프라인을 만들고 유지하는 방법을 설명하고 있으며, 이를 통해 여러분은 다양한 데이터 소스의 집계, 데이터 레이크와의 연결 및 클라우드 배포를 포함해서 가장 일반적인 사용법을 확인할 수 있다. 각 장의 설명과 튜토리얼 형태의 실용적인 가이드를 통해, Airflow를 구동하는 방향성 비순환 그래프(DAG)의 모든 내용과 요구사항에 맞게 파이프라인을 커스터마이징하는 방법을 다룬다. 이 책은 중급 이상의 파이썬 스킬을 보유한 데브옵스 엔지니어, 데이터 엔지니어, 머신러닝 엔지니어, 그리고 시스템 관리자를 위한 책이다.
백엔드 데브옵스 · 인프라 로드맵 3개에 담김
문서 서민우
컬리 검색이 카프카를 들여다본 이야기 2
문서 허재진
