스프링캠프 2024 [Track 2] 4.데이터를 스케치 하기 (황영)
SpringCamp 2024 · YouTube
AI 핵심 요약
대용량 데이터를 제한된 메모리로 실시간 처리하기 위해 해시 기반 Data Sketch 알고리즘 세 가지를 소개했다. 블룸 필터는 웹사이트 오리진 허용 여부를 적은 메모리로 확인하는 데 적용했고, 카운트-민 스케치는 빈도수와 순위를 추정하며, 하이퍼로그로그는 고유 사용자 수를 추정하는 데 활용했다. RedisBloom과 Guava를 사용한 사례를 통해 메모리 절감과 빠른 처리가 가능하지만, 각 알고리즘의 오차와 삭제 불가 같은 제약을 감안해 용도와 입력 규모에 맞게 설정해야 한다고 설명했다.
- 블룸 필터는 거짓 양성은 허용하지만, 실제로 없는 항목은 없다고 판별하는 특성을 활용한다.
- 예상 항목 수와 허용 오차율을 기준으로 비트 배열 크기와 해시 함수 수를 정하고, 입력량이 설계치를 넘지 않도록 관리한다.
- 카운트-민 스케치는 여러 해시 배열의 추정치 중 최솟값을 사용해 충돌로 인한 과대 추정을 줄인다.
- 하이퍼로그로그는 정확한 고유 항목 목록 대신 작은 고정 크기의 상태를 유지하며, 병합과 직렬화를 지원한다.
- 삭제가 필요하거나 정확한 결과가 필수인 경우에는 스케치 알고리즘의 제약을 고려해 다른 자료 구조나 알고리즘을 선택한다.
소개
[초급] MSA가 대세가 되어진 세상입니다. 하지만 여전히 제한된 리소스에서 데이터를 처리해야하는 경우도 존재합니다. Data Sketch를 통하여 작은 리소스를 이용해서도 높은 성능을 낼수 있습니다. bloom filter, count min sketch, hyperloglog 같은 대표적인 Data Sketch에 대해 알아보고 상황에 따른 활용에 대해 이야기 해보자 합니다. 🎙️ 황영 (IMQA) 🗓️ 스프링캠프 2024 Track 2 - 4 (2024년 05월 25일) 🧭 SETEC 컨벤션센터 📂 발표자료 : http://springcamp.ksug.org/2024/static/docs/T2S4.pdf 📺 스프링캠프 2024 영상 모두 보기 : https://youtube.com/playlist?list=PLdHtZnJh1KdY3gEi7EPa2AuWn5NKRVmDf&si=XE89UrhYKkIb1-oe [🔗 스프링캠프 & KSUG] 스프링캠프 2024 웹 h...
비슷한 학습 자료
컨퍼런스 SpringCamp 2024
스프링캠프 2024 [Track 1] 1.켄트 벡의 Tidy First? (안영회)
컨퍼런스 SpringCamp 2024
[초급] 켄트 벡의 Tidy First? 를 소개합니다. 먼저 안전한(?) 리팩토링 형태를 띄 코드 정리법을 소개한 후에 코드 정리가 갖는 설계 관점의 의미를 설명합니다. 그리고, 개발자 각자가 이를 어떻게 활용할 수 있는지 상상한 내용을 공유합니다. 마지막으로 제가 이 책을 번역하게 된 배경을 다룹니다. 🎙️ 안영회 (베터코드) 🗓️ 스프링캠프 2024 Track 1 - 1 (2024년 05월 25일) 🧭 SETEC 컨벤션센터 📂 발표자료 : http://springcamp.ksug.org/2024/static/docs/T1S1.pdf 📺 스프링캠프 2024 영상 모두 보기 : https://youtube.com/playlist?list=PLdHtZnJh1KdY3gEi7EPa2AuWn5NKRVmDf&si=XE89UrhYKkIb1-oe [🔗 스프링캠프 & KSUG] 스프링캠프 2024 웹 https://springcamp.ksug.org/2024/ 스프링캠프 페...
개발 · 프로그래밍 기타
컨퍼런스 SpringCamp 2024
스프링캠프 2024 [Track 1] 4.실전! MSA 개발 가이드 (김용욱)
컨퍼런스 SpringCamp 2024
[초급] 마이크로서비스를 개발할 때 가장 어려워하는 부분은 서비스 별로 데이터베이스를 분리한다는 점입니다. SQL JOIN을 REST API로 대체하려니 성능이 느릴 것 같고 데이터베이스의 트랜잭션 보장이 없어지니 정합성이 깨지지 않을까 걱정합니다. 마이크로서비스와 함께 API Composition, Event Sourcing, CQRS, SAGA 같은 반짝이는 기술들이 함께 소개되었지만, 실전에선 이보다는 평범한 기술을 사용하는 경우가 많습니다. 관련해서 마이크로서비스를 개발할 때의 구현 이슈를 소개하고, 실전에서는 어떻게 풀어내는지 소개합니다. 🎙️ 김용욱 (삼성 SDS) 🗓️ 스프링캠프 2024 Track 1 - 4 (2024년 05월 25일) 🧭 SETEC 컨벤션센터 📂 발표자료 : http://springcamp.ksug.org/2024/static/docs/T1S4.pdf 📺 스프링캠프 2024 영상 모두 보기 : https://youtube.com/pla...
백엔드
컨퍼런스 SpringCamp 2024
스프링캠프 2024 [Track 1] 5.구해줘 홈즈! (이영규)
컨퍼런스 SpringCamp 2024
[초급] 안정성이 중요한 은행 환경에서 트래픽이 많은 홈 서비스를 새로 개발하며, 동료들과 함께 고민하고 결정했던 경험을 공유해보려 합니다. 과거의 결정들에 대한 회고와 함께 저희 팀의 여정을 돌아보겠습니다. 🎙️ 이영규 (카카오뱅크) 🗓️ 스프링캠프 2024 Track 1 - 5 (2024년 05월 25일) 🧭 SETEC 컨벤션센터 📂 발표자료 : http://springcamp.ksug.org/2024/static/docs/T1S5.pdf 📺 스프링캠프 2024 영상 모두 보기 : https://youtube.com/playlist?list=PLdHtZnJh1KdY3gEi7EPa2AuWn5NKRVmDf&si=XE89UrhYKkIb1-oe [🔗 스프링캠프 & KSUG] 스프링캠프 2024 웹 https://springcamp.ksug.org/2024/ 스프링캠프 페이스북 https://www.facebook.com/springcampkr/ 스프링캠프 유튜브 ...
백엔드
컨퍼런스 SpringCamp 2024
스프링캠프 2024 [Track 2] 1.동시성의 미래 - 코루틴과 버츄얼 스레드 (이상훈)
컨퍼런스 SpringCamp 2024
[중급] 현대에는 수천, 수만의 동시 요청을 처리하는 서버를 구현하기 위해 멀티 스레드, 논블로킹, 액터 모델, 리액티브 프로그래밍 등 다양한 기술 활용하고 있습니다. 그중에서 코틀린의 코루틴과 JDK 21에서 정식 릴리즈된 버추얼 스레드는 가장 우아하고 현대적인 동시성 기법으로 평가받고 있습니다. 이번 기회를 통해 두 기술의 차이점과 통합하는 방법에 대해 알아보고자 합니다. 🎙️ 이상훈 (엘박스) 🗓️ 스프링캠프 2024 Track 2 - 1 (2024년 05월 25일) 🧭 SETEC 컨벤션센터 📂 발표자료 : http://springcamp.ksug.org/2024/static/docs/T2S1.pdf 📺 스프링캠프 2024 영상 모두 보기 : https://youtube.com/playlist?list=PLdHtZnJh1KdY3gEi7EPa2AuWn5NKRVmDf&si=XE89UrhYKkIb1-oe [🔗 스프링캠프 & KSUG] 스프링캠프 2024 웹 ht...
백엔드 프로그래밍 언어
컨퍼런스 SpringCamp 2024
스프링캠프 2024 [Track 2] 2.Spring Coroutine in action (최진영)
컨퍼런스 SpringCamp 2024
[초급] spring에서 kotlin coroutine 활용에 초첨을 맞추어, 비동기 프로그래밍과 coroutine의 동작구조부터 spring 프레임워크에서의 실제 적용까지를 이야기하려고 합니다. spring kotlin을 사용하지만 coroutine을 적용하지 않거나, coroutine이 적용되었지만 잘 사용하고있는지 고민이 되는 분들에게 어떻게 spring에서 coroutine을 in action 할 지 소개하고자 합니다. 🎙️ 최진영 (우아한형제들) 🗓️ 스프링캠프 2024 Track 2 - 2 (2024년 05월 25일) 🧭 SETEC 컨벤션센터 📂 발표자료 : http://springcamp.ksug.org/2024/static/docs/T2S2.pdf 📺 스프링캠프 2024 영상 모두 보기 : https://youtube.com/playlist?list=PLdHtZnJh1KdY3gEi7EPa2AuWn5NKRVmDf&si=XE89UrhYKkIb1-oe [...
백엔드 프로그래밍 언어
컨퍼런스 SpringCamp 2024
스프링캠프 2024 [Track 2] 5.AutoParams를 사용한 Spring Boot 응용프로그램 테스트 (이규원)
컨퍼런스 SpringCamp 2024
[중급] AutoParams는 테스트에 필요한 데이터를 손쉽게 만들어주는 JUnit 5 확장 도구입니다. Spring Boot 응용프로그램을 테스트할 때 역시 AutoParams의 확장성은 유용합니다. AutoParams의 주요 기능을 설명하고 Spring Boot를 통해 구동되는 시스템의 여러 구성요소를 테스트 하기 위해 사용할 수 있는 AutoParams 기반 테스트 전략들을 소개합니다. 🎙️ 이규원 (와이어드컴퍼니) 🗓️ 스프링캠프 2024 Track 2 - 5 (2024년 05월 25일) 🧭 SETEC 컨벤션센터 📂 발표자료 : http://springcamp.ksug.org/2024/static/docs/T2S5.pdf 📺 스프링캠프 2024 영상 모두 보기 : https://youtube.com/playlist?list=PLdHtZnJh1KdY3gEi7EPa2AuWn5NKRVmDf&si=XE89UrhYKkIb1-oe [🔗 스프링캠프 & KSUG] 스프링...
소프트웨어 테스트