데이터스토어 지침
GitLab v19.6요약
PostgreSQL은 GitLab.com의 승인된 OLTP 데이터베이스이며 관계형 데이터와 트랜잭션 데이터의 기본 저장소이지만, 모든 데이터에 영구적으로 적합한 저장소는 아닙니다. 다른 곳에 둘 수 있는 데이터를 PostgreSQL에 저장하면 데이터베이스 크기가 빠르게 증가하는 원인이 되며, 수평 확장으로는 이를 해결할 수 없고 수직 확장에도 한계가 있습니다.
PostgreSQL은 GitLab.com의 승인된 OLTP 데이터베이스이며 관계형 데이터와 트랜잭션 데이터의 기본 저장소이지만, 모든 데이터에 영구적으로 적합한 저장소는 아닙니다. 블롭, 대용량 텍스트, 직렬화된 페이로드, 렌더링된 HTML, 이벤트 스트림은 가장 손쉬운 경로이기 때문에 PostgreSQL에 들어가지만, 이러한 데이터를 저장하는 효율적인 방법이 아닐 수 있습니다.
다른 곳에 둘 수 있는 데이터를 PostgreSQL에 저장하면 데이터베이스 크기가 빠르게 증가하는 원인이 되며, 수평 확장으로는 이를 해결할 수 없고 수직 확장에도 한계가 있습니다. 또한 해당 데이터가 여러 데이터베이스에 복제되어 전체 애플리케이션을 느려지게 할 수 있습니다.
대량의 데이터를 마이그레이션하는 데는 시간이 오래 걸리고 확보된 여유 공간을 회수하려면 PostgreSQL에서 추가 처리가 필요하므로, 설계 단계에서 데이터스토어를 결정하는 편이 권장되며 더 쉽습니다.
사용 가능한 데이터스토어#
| 데이터스토어 | 사용 대상 | 사용하지 않는 대상 | 홈페이지 |
|---|---|---|---|
| PostgreSQL | ACID 보장이 필요한 트랜잭션 데이터와 복잡한 관계가 있는 구조화된 데이터. | OLAP 쿼리용 데이터, 대용량 바이너리 또는 텍스트 데이터, 빈도 높은 이벤트 스트림, 일시적인 캐시 데이터, 전체 텍스트 검색, 코드 검색 | PostgreSQL 핵심 추상화 |
| 오브젝트 스토리지 | 파일과 블롭. 읽기 위주 | 필터링, 정렬, 조인이 필요한 데이터와 자주 업데이트되는 데이터 | 오브젝트 스토리지 |
| ClickHouse | 분석, 시간 범위에 대한 집계, 추가 전용 이벤트, Siphon으로 복제된 PostgreSQL 테이블의 이력 사본 | 요청 경로의 트랜잭션 읽기와 업데이트나 삭제가 잦은 행 | ClickHouse |
| Redis | 캐싱, 다시 생성할 수 있는 일시적인 상태, 조정 데이터(락, 카운터, 커서), 속도 제한 등 | 재시작이나 제거(eviction) 후에도 유지되어야 하는 모든 데이터, 수명(TTL)이 없는 데이터, 큰 값 | Redis 개발 지침 |
결정 워크플로#
소스 코드 보기
flowchart TD
accTitle: Datastore decision workflow
accDescr: Workflow to decide which datastore to use for a new piece of data.
START(["New data to store"]) --> Q1{"Must it survive<br>a restart or eviction?"}
Q1 -- No --> R(["Redis<br>(cache, transient state,<br>locks, counters, rate limits)"])
click R "https://docs.gitlab.com/development/redis/"
Q1 -- Yes --> Q2{"What kind of data?"}
Q2 -- "Files or blobs" --> OS(["Object storage"])
click OS "https://docs.gitlab.com/administration/object_storage/"
Q2 -- "Analytics or<br>aggregations over time" --> CH(["ClickHouse"])
click CH "https://docs.gitlab.com/integration/clickhouse/"
Q2 -- "Transactional / relational<br>(needs ACID)" --> PG{"Any unbounded<br>file, blob, or large<br>text/JSON columns?"}
PG -- No --> PGOK(["PostgreSQL<br>(set a retention policy)"])
click PGOK "https://docs.gitlab.com/development/database/database_growth_control/data_retention_policy/"
PG -- Yes --> SPLIT(["PostgreSQL for the row (with retention policy) and <br>move those columns to object storage"])</code></pre></details></div>
PostgreSQL을 장기간 사용하지 않아야 한다는 신호#
스키마 변경이나 개발에서 다음 신호 중 하나가 보이면 중단하고 결정 워크플로를 적용합니다.
- 제한이 없는
text 칼럼 또는 bytea 칼럼.
- 작은 검증된 속성 집합이 아니라 페이로드, 체크포인트, 직렬화된 상태를 저장하는
jsonb 칼럼.
jsonb의 권장 최대 크기는 64KB이며, 새 검증에는 JsonbSizeLimit cop이 이를 강제합니다.
데이터베이스에 JSON 저장을 참고합니다.
- Markdown에서 생성한 HTML 같은 렌더링 결과 캐싱.
- 한 번 기록된 뒤 며칠 또는 몇 달 후에는 읽히지 않는 행. 이러한 행에는 적절한 보존 정책을 구현해
사용하지 않는 데이터를 핫 스토리지에서 내보내야 합니다.
- 하나의 칼럼에 저장된 직렬화된 값 또는 쉼표로 구분된 값. 데이터 직렬화를 참고합니다.
- 작업 항목 설명의 편집 버전 전체를 저장하는 것처럼, 참조되거나 사용되는 빈도가 낮은 중간 데이터.
- 영구적으로 저장해야 하는 데이터.
도구#
파티셔닝#
기존의 대형 테이블과, 더 빠르고 더 크게 증가할 것으로 예상되는 새 테이블은 오래되었거나 사용하지 않는 파티션을 삭제하는 보존 기간과 함께
파티셔닝해야 합니다. 파티셔닝 문서를 참고합니다.
대형 테이블을 파티셔닝하지 않는 경우에는 해당 테이블의 보존 정책에 적절한 사유를 기록해야 합니다.
TOAST 데이터를 오브젝트 스토리지로 이동#
많은 테이블에서 TOAST 데이터가 테이블 크기의 대부분을 차지합니다(예: p_duo_workflows_checkpoints, description_versions, duo_workflows_workflows).
이 데이터는 OLTP 데이터베이스 밖에 둘 수 있습니다. 작업 항목 607117은
TOAST 데이터의 대부분을 오브젝트 스토리지로 옮길 수 있는 범용 백그라운드 작업을 구축합니다.
웨어하우스 데이터베이스로 아카이브#
보존 정책으로 삭제할 수 없는 PostgreSQL의 장기 보관 데이터는 정해진 기간이 지나면 아카이브해 웨어하우스
데이터베이스로 옮겨야 합니다. 그러면 가장 자주 액세스하는 데이터만 OLTP 데이터베이스에 남고, 드물게 요청되는 데이터는 더 저렴한 대안에 둘 수 있습니다.
작업 항목 23943은 아카이브를 위한 도구를 조사하고 구축합니다.