실험 롤아웃 및 피처 플래그

GitLab에서 실험 롤아웃 이슈 관리, 실험 검증 접근법, 피처 플래그 사용 방법을 설명합니다.

실험 롤아웃 이슈 # 각 실험에는 롤아웃부터 정리 및 제거까지 실험을 추적하기 위한 실험 롤아웃 이슈가 있어야 합니다. 롤아웃 이슈는 피처 플래그 롤아웃 이슈와 유사하며, 실험의 상태를 추적하는 데에도 사용됩니다. 실험이 배포되면 이슈의 마감일을 설정해야 합니다(실험에 따라 다르지만 최대 몇 주 후까지 설정할 수 있습니다). 마감일 이후에는 이슈를 해결해야 하며, 다음 중 하나가 됩니다: 실험이 성공하여 새로운 기본값이 되는 경우. 실험이 성공하지 못하여 실험과 관련된 모든 코드가 제거되는 경우. 어느 경우든, 결정에 대한 이유와 함께 실험 결과를 이슈에 게시해야 합니다. 실험 검증 접근법 # 개발 라이프사이클의 여러 단계에서 실험을 검증합니다: Stage 검증 대상 도구 로컬 개발 이벤트 구조 (스키마, 필드, 값). Snowplow Micro. 스테이징 Snowplow에서 이벤트가 수신되는지 여부. Growth Experiment Event Validation Dashboard. 프로덕션 이벤트가 Snowflake로 올바르게 유입되는지 여부. GLEX Experiment Analysis Dashboard. 이벤트 구조 검증은 로컬 개발 중에 이루어져야 합니다. 실험이 스테이징에 도달할 때쯤에는 이벤트 구조가 이미 검증되어 있어야 합니다. 스테이징 및 프로덕션 검증은 이벤트가 파이프라인을 통해 흐르는지 확인하는 것에만 집중합니다. 스테이징에 배포하기 전에, 올바른 이벤트 구조의 증거로 Snowplow Micro의 원시 출력을 롤아웃 이슈에 붙여넣으세요. 예상 형식에 대해서는 실험 롤아웃 이슈 템플릿 을 참조하세요. 모든 실험 끄기 # GitLab.com에서 모든 실험을 꺼야 하는 경우가 발생하면, 이 컨트롤을 사용할 수 있습니다. gitlab_experiment 피처 플래그 를 사용하여 GitLab.com에서 실험을 토글할 수 있습니다. ChatOps를 통해 수행할 수 있습니다: 비활성화 : /chatops gitlab run feature set gitlab_experiment false 활성화 : /chatops gitlab run feature delete gitlab_experiment 이 방법을 사용하면 YAML의 default_enabled 값인 true 가 적용됩니다. 피처 플래그에 대한 참고 사항 # 여기서는 "활성화됨(enabled)"과 "비활성화됨(disabled)"이라는 용어를 사용합니다. 이는 문서 스타일 가이드 권장 사항 에 반하지만, 피처 플래그 문서에서 사용하는 용어이기 때문입니다. GitLab의 피처 플래그 개념에 이미 익숙할 수 있지만, 실험에서 피처 플래그를 사용하는 것은 다소 다릅니다. 일반적으로 피처 플래그는 on 또는 off 상태로 간주되지만, 실험에서는 이것이 정확하지 않습니다. 일반적으로 off 는 피처 플래그가 활성화되었는지 물어볼 때 항상 false 를 반환한다는 의미이고, on 은 항상 true 를 반환한다는 의미입니다. conditional 로 간주되는 중간 상태도 존재합니다. 우리는 피