Siphon을 활용한 ClickHouse 테이블 설계

이 문서는 PostgreSQL 변경 데이터 캡처(CDC) 도구인 Siphon 을 활용하여 ClickHouse에서 PostgreSQL 데이터를 사용하는 분석 기능을 설계하는 방법에 대한 개요를 제공합니다. 용어집 # Organization : 프로젝트와 그룹을 위한 상위 컨테이너입니다. Namespace: 그룹, 서브그룹, 사용자 네임스페이스 또는 프로젝트 네임스페이스(프로젝트의 섀도우 레코드로 동작)를 가리킬 수 있습니다. Project: GitLab 프로젝트를 나타냅니다. 아키텍처 개요 # Siphon은 확장성과 안정성을 보장하기 위해 발행-구독 모델을 사용하여 PostgreSQL에서 ClickHouse로 데이터를 이동합니다. Siphon Producer: PostgreSQL 논리 복제 슬롯을 모니터링하고 행 수준 변경사항( INSERT , UPDATE , DELETE )을 NATS 에 발행합니다. NATS: Producer와 Consumer를 분리하는 메시지 브로커 역할을 합니다