모든 GitLab 팀은 실험을 수행할 수 있으며, 주로 Growth 하위 부서 팀이 담당합니다. 실험은 주로 GitLab.com을 대상으로 하기 때문에 릴리스와 연결되지 않습니다.

실험은 A/B/n 테스트로 실행되며, 테스트를 켜거나 끄기 위해 실험 기능 플래그 뒤에 위치합니다. 실험이 생성한 데이터를 기반으로 팀은 실험이 긍정적인 영향을 미쳤는지, 새 기본값으로 설정해야 하는지, 아니면 롤백해야 하는지 결정합니다.

GitLab의 실험은 GitLab 개발에서의 기능 플래그에서 제공하는 개념과 밀접하게 연관되어 있습니다. 실험 실행을 고려하기 전에 GitLab 개발에서의 기능 플래그 문서를 읽고 이해할 것을 강력히 권장합니다. 실험은 GitLab이 개발에서 기능 플래그를 사용하는 방식에 대한 기초를 이해하지 않으면 혼란스럽거나 고급스럽게 느껴질 수 있는 추가 개념을 포함합니다. 한 가지 개념: 실험은 여러 변형(variant)으로 실행될 수 있으며, 이를 때로는 A/B/n 테스트라고도 합니다.

실험 실행에는 gitlab-experiment gem(GLEX라고도 불림)을 사용합니다. 이 gem은 Ruby를 사용하는 모든 GitLab 속성에서 공유할 수 있도록 별도의 리포지터리에 존재합니다. 고급 주제를 더 깊이 파고들거나 이슈를 열고 싶다면 해당 프로젝트의 문서를 편하게 읽어보세요. 해당 문서는 main 브랜치의 내용을 반영하며 GitLab에서 사용 중인 버전과 다를 수 있음을 인지하세요.

용어집#

공통 언어를 보장하기 위해, 실험에 대해 소통할 때 사용하는 다음 기본 용어를 이해해야 합니다:

• experiment: 특정 시간에는 실행하고 다른 시간에는 실행하지 않으려는 코드 경로의 모든 변형.

• context: 실험에서 제공하는 일관된 경험.

• control: 기본값, 즉 "원래" 코드 경로.

• candidate: 하나의 코드 경로만 있는 실험을 정의.

• variant(s): 여러 코드 경로가 있는 실험을 정의.

• behaviors: control을 포함한 실험의 모든 가능한 코드 경로를 참조하는 데 사용.

실험 워크플로#

GitLab에서 실험을 실행하려면 다음 워크플로를 따르세요:

• 실험 구현 - GLEX 프레임워크를 사용하여 A/B/n 테스트를 생성하고 구성

• 실험 테스트 - RSpec 테스트 작성 및 실험 동작 검증

• 실험 배포 - 기능 플래그를 사용하여 실험 배포

• 코드 리뷰 가이드라인 - 적절한 기준으로 실험 코드 리뷰

GLEX(또는 Gitlab::Experiment, gitlab-experiment gem)는 GitLab에서 실험을 구현하기 위해 선호되는 옵션입니다.

실험에 새 아이콘 및 일러스트레이션 추가#

일부 실험에서는 코드베이스에 커스텀 아이콘이나 일러스트레이션을 추가해야 할 수 있습니다. 이 프로세스는 길고 현재 단계에서는 실험 결과가 불확실합니다. 따라서 실험 정리 프로세스까지 이 작업을 연기하는 것이 좋습니다.

다음 워크플로를 권장합니다:

• 아이콘 및 일러스트레이션에 대한 Pajamas 가이드라인을 검토하세요.

• GitLab 리포지터리의 /app/assets/images(또는 EE) 경로에 아이콘이나 일러스트레이션을 .svg 파일로 추가하세요.

• image_tag 또는 image_path를 사용하여 에셋 파이프라인을 통해 렌더링하세요.

• 실험이 성공할 경우, 디자이너는 정리 프로세스의 일환으로 새 아이콘이나 일러스트레이션을 Pajamas UI 키트에 추가합니다. 그러면 엔지니어는 SVG 라이브러리에 추가하고 프론트엔드 개발 가이드라인에 따라 구현을 수정할 수 있습니다.

추가 리소스#

• 실험 프레임워크 로드맵 - 계획된 개선 사항 및 향후 방향

• 실험 API - 실험 데이터 조회를 위한 API 엔드포인트