StateDB pruning & Migration / if(kakao)2022
if kakao 카카오 · YouTube
AI 핵심 요약
클레이튼의 상태 DB는 계정·스마트 컨트랙트 데이터를 누적해 저장하고, 해시 기반 노드 공유로 공간을 아끼는 대신 참조 카운트 관리가 어려워 과거 데이터 프루닝을 오프라인에서만 할 수 있었다. 이를 개선하기 위해 블록 번호와 블록별 인덱스를 더한 Extended Hash를 도입하고, 검증 과정에서는 추가 정보를 제외해 기존 상태 해시와 같은 결과를 내도록 했다. 이 구조를 바탕으로 오래된 노드를 온라인에서 삭제하는 StateDB pruning과, 삭제 전에 콜드 스토리지나 분산 스토리지로 옮기는 StateDB migration을 설계했다. 발표에서는 노드의 역할과 데이터 접근 빈도에 맞춰 고성능 스토리지와 저비용 스토리지를 나누는 것이 블록체인 스토리지 최적화의 방향이라고 설명했다.
- 블록체인 상태 트라이의 노드를 해시 키로 공유하면 저장 공간은 절약되지만, 참조 카운트 관리가 어려워 온라인 프루닝이 힘들어진다.
- 블록 번호와 블록별 인덱스를 해시에 추가해 노드 참조를 구분하고, 검증 시에는 추가 바이트를 제외해 기존 상태 해시와 호환되도록 했다.
- 프루닝은 삭제 대기 큐를 통해 오래된 노드를 순차적으로 제거하며, 보관 기간은 큐에서 삭제하는 시점을 조절해 설정할 수 있다.
- 노드 역할에 따라 최신 상태를 빠르게 처리할 노드에는 고성능 스토리지를, 과거 데이터를 제공할 노드에는 저렴한 스토리지나 분산 스토리지를 고려할 수 있다.
소개
블록체인의 스토리지는 모든 데이터의 정합성 체크를 위해 모든 데이터를 누적해 저장합니다. 지속해서 증가하는 데이터로 인해 로컬 스토리지 데이터는 계속 증가하고, 이에 따라 데이터 액세스 속도는 지속적으로 느려지게 됩니다. 블록체인에서 과거 데이터가 중요하긴 하지만 노드별 역할에 따라 현재 데이터만 필요한 경우도 있고, 과거 데이터가 필요하더라도 최근 데이터만큼 빠른 속도로 액세스 되지 않아도 괜찮은 노드도 존재합니다. 이러한 특성을 이용해서 클레이튼은 과거 데이터를 지우거나 분산 스토리지로 마이그레이션 하는 로직을 만들어 스토리지 활용을 최적화하는 블록체인 스토리지 관리 모듈을 개발 중입니다. 본 세션에서는 이에 대한 이야기를 하고자 합니다. #BlockchainStorage 크러스트유니버스에서 블록체인의 스토리지를 개발하고 있는 이든입니다. 카카오톡의 분산스토리지를 개발했고, 최근에 클레이튼에서 사용하는 블록체인용 스토리지의 최적화와 분산시스템으로의 확장을 고민하고 있습...
비슷한 학습 자료
컨퍼런스 if kakao
클레이튼과 블록체인 기술 / if(kakao)2022
컨퍼런스 if kakao
‘블록체인’, 그리고 ‘블록체인 기술’은 요즘 주변에서 너무나도 흔히 접할 수 있는 주제인데요, 하지만 그와 동시에 일반인뿐 아니라 개발자에게도 아직은 생경한, 혹은 진입 장벽이 높은 분야로 인식되고 있는 것 같기도 합니다. 이번 발표에서는 그라운드X에서 시작해, 현재 크러스트 유니버스로 이어지고 있는 퍼블릭 블록체인인 클레이튼의 기술 전반에 관해 이야기해 보려고 합니다. 블록체인의 기본적인 개념에서부터, 다른 체인 대비 클레이튼이 가지고 있는 장점, 그리고 클레이튼이 앞으로 해결해 나가고자 하는 문제들까지, 기존의 경험과 노하우를 압축해 이 영상에 담아 보았습니다. #blockchain #layer1 #klaytn 크러스트 유니버스 CKO (Chief Klaytn Officer) 샘입니다. 클레이튼 메인넷 개발과 네트워크 운영을 총괄하고 있습니다. if(kakao)2022에 대한 자세한 정보는 👉 https://if.kakao.com if(kakao)2022에 대한...
블록체인
컨퍼런스 if kakao
snapshot sync implementation / if(kakao)2022
컨퍼런스 if kakao
현재 클레이튼에서는 전체 싱크(Full Sync)만을 지원합니다. 전체 싱크란 블록 헤더와 트랜잭션을 다른 피어(peer)로부터 받고, 트랜잭션을 재실행하면서 최신 블록까지 동기화하는 기술을 의미합니다. 이더리움에서는 더 빠른 동기화를 위한 기술로 스냅 싱크(Snap Sync)를 구현하였는데요. 스냅 싱크란 전체 싱크와는 다르게 트랜잭션을 재실행하는 대신, 최신 블록의 스냅샷 데이터와 리시트(receipt)를 추가로 가져와서 빠르게 동기화하는 기술을 의미합니다. 이더리움의 스냅 싱크 구조 및 방식과, 클레이튼과의 차이점 그리고 이더리움의 스냅 싱크를 클레이튼으로 옮겨오면서 발생하는 문제점 등을 공유하고자 합니다. #Klaytn 크러스트유니버스의 클레이튼 코어 데브팀 스토리지 파트에서 개발하고 있는 JK입니다. 가까운 미래에는 블록체인이 없는 세상을 상상할수 없다고 굳게 믿고 있습니다. 발표자료 보기 👉https://speakerdeck.com/kakao/ifkakao...
블록체인
컨퍼런스 if kakao
수 천만 건 이상의 대량 배치처리를 하기 위한 최고의 노하우를 전달드리겠습니다. 카카오페이 정산플랫폼팀은 카카오페이의 빠른 성장과 더불어 늘어나는 데이터를 일괄처리하기 위하여 꾸준히 노력 하고 있습니다. 더 많은 데이터를 처리하기 위해 진화하는 서비스와 개발방식을 소개하고자 합니다. #BatchPerformance #SpringBatch #SpringCloudDataFlow #Kubernetes #Redis 카카오페이 정산플랫폼팀 베니입니다. 서버 Performance 개선에 관심이 많습니다. 발표자료 보기 👉https://speakerdeck.com/kakao/ifkakao22-065 if(kakao)2022에 대한 자세한 정보는 👉 https://if.kakao.com if(kakao)2022에 대한 문의는 👉 if@kakaocorp.com #카카오 #이프카카오 #개발자컨퍼런스 #기술 #개발 #ifkakao2022
백엔드 데이터베이스 데브옵스 · 인프라
컨퍼런스 if kakao
카카오 블록체인 Klaytn의 합의 알고리즘 A to Z / if(kakao)2022
컨퍼런스 if kakao
본 세션에서는 블록체인에 관심이 있는 개발자분들을 위해 분산 시스템의 한 분야에서 시작된 합의 알고리즘이 어떻게 블록체인의 핵심 기술이 되었는지 그 과정을 소개합니다. 더 나아가 카카오 블록체인 클레이튼이 추구하는, 실시간 서비스를 블록체인에서 제공하기 위한 고속 합의 알고리즘을 소개하고 클레이튼의 합의 알고리즘 성능 향상을 위해 개선된 부분을 설명합니다. #DistributedSystem #Consensus #Klaytn 크러스트유니버스의 코어 데브팀에서 클레이튼을 개발하고 있는 루이스입니다. 클레이튼의 강점인 안전성과 성능은 유지하면서 블록체인 플랫폼으로써 확장성과 탈중앙화를 증대시키기 위한 방법들을 고민하고 있습니다. 발표자료 보기 👉https://speakerdeck.com/kakao/ifkakao22-46 if(kakao)2022에 대한 자세한 정보는 👉 https://if.kakao.com if(kakao)2022에 대한 문의는 👉 if@kakaocor...
블록체인
컨퍼런스 if kakao
자체개발한 분산 KeyValue DB인 REDICOKE에 대해 소개하고, 기존 저장 구조에 성능 한계와 개선되는 구조에 대해 공유합니다. Key-Value 데이터에 NVMe 저장에 대한 최적화 고민과 문제를 어떻게 풀었는지 자세히 설명 할 예정입니다. #Redicoke 카카오 분산기술셀에서 다양한 분산 플랫폼을 개발하는 레온입니다. 발표자료 보기 👉https://speakerdeck.com/kakao/ifkakao22-30 if(kakao)2022에 대한 자세한 정보는 👉 https://if.kakao.com if(kakao)2022에 대한 문의는 👉 if@kakaocorp.com #카카오 #이프카카오 #개발자컨퍼런스 #기술 #개발 #ifkakao2022
백엔드 데이터베이스
컨퍼런스 if kakao
Preview BlockChain @if(kakao)2021
컨퍼런스 if kakao
if (kakao) 2021 컨퍼런스에서 BlockChain 관련 기술 발표 세션을 소개합니다. 1. Klaytn을 이용하여 NFT 활용하기: 발행부터 판매까지 @Colin.Kim 요새 화두가 되고 있는 NFT를 클레이튼에서 어떻게 발행/전송/매매할 수 있는지 살펴보려고 합니다. 또한 미술시장에서 논의되고 있는 추급권을 스마트 컨트랙트를 이용하여 어떻게 구현할 수 있는지 설명합니다. 스마트 컨트랙트를 이용하면 매매 즉시 추급권 및 거래수수료 정산을 마칠 수 있습니다. 이어서 추급권을 포함한 NFT 매매 전체 시나리오를 설명드리고, 남은 향후 과제는 어떤 것들이 있는지 말씀드리고자 합니다. 2. Klaytn Blockchain API의 수평적 확장 @Aidan.Kwon 클레이튼 노드를 개선하여 API 기능에 대한 수평적 확장성을 가지게 만드는 내용입니다. 하나의 노드가 아닌 다수의 클레이튼 노드를 이용하여 API 서비스를 안정적이고 일관되게 제공할 수 있는 구조를 제안합니다. 개...
블록체인