10x 빠르게 10x 싸게: Quickwit 기반 신규 로그 파이프라인 | 2025 당근 플랫폼 밋업
당근 밋업 당근 · YouTube
AI 핵심 요약
기존 로그 시스템은 Loki의 본문 검색이 느리고 OpenSearch는 저장·복제 비용이 높아, 빠른 검색과 낮은 비용을 함께 만족시키기 어려웠다. 당근은 역인덱스와 객체 저장소 기반 구조를 갖춘 Quickwit을 도입하고, 로그 수집기에서 Kafka를 거쳐 인덱서로 전달한 뒤 검색 클러스터와 인덱싱 클러스터를 분리했다. 초당 수십만 건의 로그를 처리하는 파이프라인을 구축했으며, 발표에서는 OpenSearch 대비 비용을 약 90% 줄이고 로그 보관 기간을 늘린 결과와 Loki 대비 검색 속도 개선을 공유했다. 다만 Quickwit의 성숙도와 인덱싱 지연을 고려해 실시간 모니터링과 검색 용도를 구분하고, POC와 운영 중 이슈 대응을 병행한 점이 핵심 교훈이다.
- 로그 검색 시스템은 실시간 모니터링과 과거 로그 탐색의 요구가 다르므로 용도별로 선택해야 한다.
- Quickwit의 스플릿은 불변 단위로 객체 저장소에 저장되며, 메타데이터와 시간 범위로 검색 대상을 먼저 좁힌다.
- 객체 저장소의 왕복 지연을 줄이려면 캐시와 바이트 범위 읽기를 활용해 필요한 데이터만 가져오는 것이 중요하다.
- Kafka를 중간에 두면 로그 유실을 방지하고, 검색 시스템 외의 소비자나 후속 파이프라인을 추가하기 쉽다.
- 신생 오픈소스 도입 시에는 고부하 팀을 대상으로 듀얼 라이트 검증을 하고, 이슈 대응과 버전 업그레이드 계획도 마련해야 한다.
소개
당근 개발자들의 로그 검색 경험 향상을 위한 Quickwit 기반 신규 로그 파이프라인 구축 과정을 소개합니다. Quickwit의 특징과 선택 배경, 구축 과정에서의 문제 해결 사례를 다루고, 효율적인 로그 파이프라인 설계를 위해 고민하고 경험한 것들을 공유하고자 합니다. 🥕 10x 빠르게 10x 싸게: Quickwit 기반 신규 로그 파이프라인 👉 발표 자료 보러가기: https://daangn.notion.site/2025-platform-meetup-slide 👉 당근 채용공고 보기: https://about.daangn.com/jobs/
비슷한 학습 자료
컨퍼런스 당근 밋업
데이터베이스에서 시작해 최종적으로 사용자에게 지도로 보여지기까지의 파이프라인을 구축하고 일 1회 업데이트가 가능한 구조로 개선한 과정을 소개합니다. 대용량 공간 데이터를 효율적으로 처리한 큐잉 전략, 분산 환경에서 일관성을 유지하기 위한 방법, 배포 전략까지 안정적인 지도 서비스 운영을 위해 고민하고 경험한 내용을 공유하고자 합니다. 🥕 로컬 스크립트에서 하루에 한 번 돌아가는 파이프라인이 되기까지: 당근지도의 여정 👉 발표 자료 보러가기: https://daangn.notion.site/2025-platform-meetup-slide 👉 당근 채용공고 보기: https://about.daangn.com/jobs/
데브옵스 · 인프라 클라우드
컨퍼런스 당근 밋업
당근에서 Loki 1년간 운영기 | 당근 SRE 밋업 4회
컨퍼런스 당근 밋업
당근의 성장과 함께 쌓아온 안정적인 인프라 구축과 운영 노하우를 당근 SRE 팀에서 공유해요. 사내 개발자 플랫폼 개발 경험, 관측가능성 구축 경험, 네트워크 개선 경험 등을 들어보세요! 🥕 당근에서 Loki 1년간 운영기 (이영훈) 👉 발표 자료 보러가기: https://daangn.notion.site/SRE-c62abc2b6f0347a4ace9ee9cdfc49b6b#8afac52012304b20977c9299f8bca5f4 👉 당근 채용공고 보기: https://about.daangn.com/jobs/
데브옵스 · 인프라
컨퍼런스 당근 밋업
지역 기반으로 중고거래 검색을 샤딩하라 | 2024 당근 테크 밋업
컨퍼런스 당근 밋업
대용량, 대규모 데이터를 다룰 때 샤딩(sharding)은 필수적으로 고려해야 하는 요소예요. 하지만 샤딩을 잘 적용하기란 결코 쉬운 일이 아니에요. 저희 검색플랫폼팀은 대규모의 중고거래 게시글을 샤딩하면서 지역 기반이라는 서비스 특성까지 고려해야 했고, 이를 프로덕션에 적용하여 좋은 결과를 만들어냈어요. 이 세션은 지역 기반 샤딩 적용 과정을 소개하면서, 검색에 대한 배경지식 없이도 성능 개선과 비용 개선을 위해 샤딩을 적용하려고 검토 중인 분들께 좋은 인사이트가 되길 바라요. 🥕 영상을 보고 당근에 관심이 생기셨다면 채용 공고를 확인해보세요! https://about.daangn.com/jobs/
백엔드 데이터베이스
컨퍼런스 당근 밋업
프레임워크부터 플랫폼까지: 당근 웹뷰 플랫폼 | 2024 당근 테크 밋업
컨퍼런스 당근 밋업
LLM을 프로덕션에 적용하며 배운 것들 | 당근 ML 밋업 1회
컨퍼런스 DAN 2025
[팀네이버 컨퍼런스 DAN25] 하루 수백억 건을 처리하는 똑똑한 로그 파이프라인 만들기: 비용·성능·안정성 삼박자 네이버 전사 로그(최대 초당 수백만건, 하루 수백억건의 로그)를 수집/처리하는 로그 파이프라인 Logiss를 소개하고, Logiss에서 겪은 문제점들과 해결책들을 공유합니다. Storm + kafka 환경에서 multi topology를 적용하는 방법과 이를 통해 안정적인 무중단 배포가 가능해진 파이프라인과 지능형 파이프라인의 도입으로 낮시간의 피크 트래픽을 한가한 시간으로 분산시킨 방법, 장애 상황에서 로그의 우선 순위에 따른 차등된 처리 방식, 샘플링 기능으로 저장소를 효율적으로 이용할 수 있게된 방법을 알려드립니다. 목차 1. Logiss 시스템 소개 - Storm, Kafka, Logstash, OpenSearch로 구성된 파이프라인 아키텍처 - 네이버 서비스 전반에서 발생하는 로그를 수집, 하루 수백억 건의 로그를 실시간 처리...
데이터베이스 데브옵스 · 인프라