InfoGrab DocsInfoGrab Docs

실험 롤아웃 및 피처 플래그

요약

각 실험에는 롤아웃부터 정리 및 제거까지 실험을 추적하기 위한 실험 롤아웃 이슈가 있어야 합니다. 구현 중에 실험 롤아웃 이슈 템플릿으로 롤아웃 이슈를 생성합니다. 실험이 성공하여 새로운 기본값이 되는 경우. 실험이 성공하지 못하여 실험과 관련된 모든 코드가 제거되는 경우.

실험 롤아웃 이슈#

각 실험에는 롤아웃부터 정리 및 제거까지 실험을 추적하기 위한 실험 롤아웃 이슈가 있어야 합니다. 롤아웃 이슈는 피처 플래그 롤아웃 이슈와 유사하며, 실험의 상태를 추적하는 데에도 사용됩니다.

구현 중에 실험 롤아웃 이슈 템플릿으로 롤아웃 이슈를 생성합니다. 이슈를 생성할 때 마감일을 실험 실행의 계획된 종료일로 설정하고, 실행이 지연되면 조정합니다. 마감일 이후에는 이슈를 해결해야 하며, 다음 중 하나가 됩니다:

  • 실험이 성공하여 새로운 기본값이 되는 경우.

  • 실험이 성공하지 못하여 실험과 관련된 모든 코드가 제거되는 경우.

어느 경우든, 결정에 대한 이유와 함께 실험 결과를 이슈에 게시해야 합니다. 롤아웃 이슈의 범위 지정 experiment:: 레이블이 실험의 상태를 추적하며, 정리 이슈는 결과 레이블을 따릅니다. experiment:: 레이블에 대해서는 Growth 실험 핸드북을 참고합니다.

실험 검증 접근법#

개발 라이프사이클의 여러 단계에서 실험을 검증합니다:

Stage 검증 대상 도구
로컬 개발 및 CI 이벤트 형태: 각 변형에서 발생하는 이벤트, 이벤트의 category, action, label, 그리고 gitlab_experiment 컨텍스트. 추적 여정 계약을 단언하는 기능 스펙. 선택적으로 Snowplow Micro.
스테이징 각 변형이 기대한 대로 동작하는지(사용자 인수 테스트)와 이벤트가 수신되는지 여부. 각 변형을 강제로 적용하고 이벤트 수를 확인하는 Experiment Dashboard. 선택적으로 같은 데이터를 보여 주는 Growth Experiment Event Validation Dashboard.
프로덕션 이벤트가 Snowflake로 올바르게 유입되는지 여부. Experiment Dashboard. 선택적으로 같은 데이터를 보여 주는 GLEX Experiment Analysis Dashboard.

기능 스펙은 코드 리뷰 전에 이벤트 형태를 증명하고, CI는 모든 파이프라인에서 이를 다시 증명합니다. 스테이징과 프로덕션에서는 형태를 다시 검증하지 않습니다. 이벤트가 파이프라인을 통해 흐르는지만 확인합니다.

리뷰 전에 증거를 롤아웃 이슈에 기록합니다. 계약 및 기능 스펙 경로, 통과한 실행, 각 변형에 대해 캡처된 events.yml을 포함합니다. 실행이 이러한 파일을 생성합니다. 자세한 내용은 스펙이 캡처한 이벤트 읽기를 참고합니다. 롤아웃 이슈 템플릿에 예상 형식이 나와 있습니다.

스테이징의 사용자 인수 테스트가 프로덕션 롤아웃의 관문입니다. 이벤트 수는 관문이 아닙니다. 대시보드는 매일 갱신되며 이벤트가 나타나기까지 24시간 이상 걸릴 수 있으므로, 이벤트 수를 기다리며 롤아웃을 보류하지 않습니다.

모든 실험 끄기#

GitLab.com에서 모든 실험을 꺼야 하는 경우가 발생하면, 이 컨트롤을 사용할 수 있습니다.

gitlab_experiment 피처 플래그를 사용하여 GitLab.com에서 실험을 토글할 수 있습니다.

ChatOps를 통해 수행할 수 있습니다:

피처 플래그에 대한 참고 사항#

여기서는 "활성화됨(enabled)"과 "비활성화됨(disabled)"이라는 용어를 사용합니다. 이는 문서 스타일 가이드 권장 사항에 반하지만, 피처 플래그 문서에서 사용하는 용어이기 때문입니다.

GitLab의 피처 플래그 개념에 이미 익숙할 수 있지만, 실험에서 피처 플래그를 사용하는 것은 다소 다릅니다. 일반적으로 피처 플래그는 on 또는 off 상태로 간주되지만, 실험에서는 이것이 정확하지 않습니다.

일반적으로 off는 피처 플래그가 활성화되었는지 물어볼 때 항상 false를 반환한다는 의미이고, on은 항상 true를 반환한다는 의미입니다. conditional로 간주되는 중간 상태도 존재합니다. 우리는 피처 플래그의 이 세 가지 상태를 활용합니다. 이 conditional 측면을 이해하기 위해 다음 설정 중 하나가 피처 플래그를 이 상태로 만든다는 점을 고려합니다:

  • percentage_of_actors를 0%보다 큰 값으로 설정하는 경우.

  • 단일 사용자나 그룹에 대해 활성화하는 경우.

Conditional이란 일부 상황에서는 true를 반환하지만 모든 상황에서 그렇지는 않다는 것을 의미합니다.

피처 플래그가 비활성화되면(상태가 off인 경우), 실험은 비활성(inactive) 상태로 간주됩니다. 결정 트리 다이어그램에서 이를 시각화하면 첫 번째 Running? 노드에 도달하여 부정적인 경로를 따라가는 것을 확인할 수 있습니다.

피처 플래그가 percentage_of_actors 또는 유사한 방식으로 롤아웃되면(상태가 conditional인 경우), 실험은 실행 중(running) 상태로 간주됩니다. 이 상태에서는 때로는 컨트롤이 할당되고 때로는 후보가 할당됩니다. 여기서는 "활성화됨(enabled)"이라고 부르지 않는데, 이는 혼동을 줄 수 있는 과부하된 용어이기 때문입니다. 실험 용어로는, 실험이 *실행 중(running)*이며 피처 플래그는 conditional 상태입니다.

피처 플래그가 활성화되면(상태가 on인 경우), 항상 후보가 할당됩니다.

용어를 일관되게 사용하도록 노력해야 하므로, 실험에서는 피처 플래그를 conditional로 설정할 때까지 비활성(inactive) 상태의 실험이 됩니다. 그 이후에는 실험이 실행 중(running) 상태로 간주됩니다. 피처 플래그를 "활성화"하기로 선택한 경우, 실험 참여를 거부하지 않는 한 모든 사람에게 후보가 할당되므로 실험이 해결됨(resolved) 상태로 간주해야 합니다.

실험 롤아웃 및 피처 플래그

GitLab v19.6
원문 보기

요약

각 실험에는 롤아웃부터 정리 및 제거까지 실험을 추적하기 위한 실험 롤아웃 이슈가 있어야 합니다. 구현 중에 실험 롤아웃 이슈 템플릿으로 롤아웃 이슈를 생성합니다. 실험이 성공하여 새로운 기본값이 되는 경우. 실험이 성공하지 못하여 실험과 관련된 모든 코드가 제거되는 경우.

실험 롤아웃 이슈#

각 실험에는 롤아웃부터 정리 및 제거까지 실험을 추적하기 위한 실험 롤아웃 이슈가 있어야 합니다. 롤아웃 이슈는 피처 플래그 롤아웃 이슈와 유사하며, 실험의 상태를 추적하는 데에도 사용됩니다.

구현 중에 실험 롤아웃 이슈 템플릿으로 롤아웃 이슈를 생성합니다. 이슈를 생성할 때 마감일을 실험 실행의 계획된 종료일로 설정하고, 실행이 지연되면 조정합니다. 마감일 이후에는 이슈를 해결해야 하며, 다음 중 하나가 됩니다:

  • 실험이 성공하여 새로운 기본값이 되는 경우.

  • 실험이 성공하지 못하여 실험과 관련된 모든 코드가 제거되는 경우.

어느 경우든, 결정에 대한 이유와 함께 실험 결과를 이슈에 게시해야 합니다. 롤아웃 이슈의 범위 지정 experiment:: 레이블이 실험의 상태를 추적하며, 정리 이슈는 결과 레이블을 따릅니다. experiment:: 레이블에 대해서는 Growth 실험 핸드북을 참고합니다.

실험 검증 접근법#

개발 라이프사이클의 여러 단계에서 실험을 검증합니다:

Stage 검증 대상 도구
로컬 개발 및 CI 이벤트 형태: 각 변형에서 발생하는 이벤트, 이벤트의 category, action, label, 그리고 gitlab_experiment 컨텍스트. 추적 여정 계약을 단언하는 기능 스펙. 선택적으로 Snowplow Micro.
스테이징 각 변형이 기대한 대로 동작하는지(사용자 인수 테스트)와 이벤트가 수신되는지 여부. 각 변형을 강제로 적용하고 이벤트 수를 확인하는 Experiment Dashboard. 선택적으로 같은 데이터를 보여 주는 Growth Experiment Event Validation Dashboard.
프로덕션 이벤트가 Snowflake로 올바르게 유입되는지 여부. Experiment Dashboard. 선택적으로 같은 데이터를 보여 주는 GLEX Experiment Analysis Dashboard.

기능 스펙은 코드 리뷰 전에 이벤트 형태를 증명하고, CI는 모든 파이프라인에서 이를 다시 증명합니다. 스테이징과 프로덕션에서는 형태를 다시 검증하지 않습니다. 이벤트가 파이프라인을 통해 흐르는지만 확인합니다.

리뷰 전에 증거를 롤아웃 이슈에 기록합니다. 계약 및 기능 스펙 경로, 통과한 실행, 각 변형에 대해 캡처된 events.yml을 포함합니다. 실행이 이러한 파일을 생성합니다. 자세한 내용은 스펙이 캡처한 이벤트 읽기를 참고합니다. 롤아웃 이슈 템플릿에 예상 형식이 나와 있습니다.

스테이징의 사용자 인수 테스트가 프로덕션 롤아웃의 관문입니다. 이벤트 수는 관문이 아닙니다. 대시보드는 매일 갱신되며 이벤트가 나타나기까지 24시간 이상 걸릴 수 있으므로, 이벤트 수를 기다리며 롤아웃을 보류하지 않습니다.

모든 실험 끄기#

GitLab.com에서 모든 실험을 꺼야 하는 경우가 발생하면, 이 컨트롤을 사용할 수 있습니다.

gitlab_experiment 피처 플래그를 사용하여 GitLab.com에서 실험을 토글할 수 있습니다.

ChatOps를 통해 수행할 수 있습니다:

피처 플래그에 대한 참고 사항#

여기서는 "활성화됨(enabled)"과 "비활성화됨(disabled)"이라는 용어를 사용합니다. 이는 문서 스타일 가이드 권장 사항에 반하지만, 피처 플래그 문서에서 사용하는 용어이기 때문입니다.

GitLab의 피처 플래그 개념에 이미 익숙할 수 있지만, 실험에서 피처 플래그를 사용하는 것은 다소 다릅니다. 일반적으로 피처 플래그는 on 또는 off 상태로 간주되지만, 실험에서는 이것이 정확하지 않습니다.

일반적으로 off는 피처 플래그가 활성화되었는지 물어볼 때 항상 false를 반환한다는 의미이고, on은 항상 true를 반환한다는 의미입니다. conditional로 간주되는 중간 상태도 존재합니다. 우리는 피처 플래그의 이 세 가지 상태를 활용합니다. 이 conditional 측면을 이해하기 위해 다음 설정 중 하나가 피처 플래그를 이 상태로 만든다는 점을 고려합니다:

  • percentage_of_actors를 0%보다 큰 값으로 설정하는 경우.

  • 단일 사용자나 그룹에 대해 활성화하는 경우.

Conditional이란 일부 상황에서는 true를 반환하지만 모든 상황에서 그렇지는 않다는 것을 의미합니다.

피처 플래그가 비활성화되면(상태가 off인 경우), 실험은 비활성(inactive) 상태로 간주됩니다. 결정 트리 다이어그램에서 이를 시각화하면 첫 번째 Running? 노드에 도달하여 부정적인 경로를 따라가는 것을 확인할 수 있습니다.

피처 플래그가 percentage_of_actors 또는 유사한 방식으로 롤아웃되면(상태가 conditional인 경우), 실험은 실행 중(running) 상태로 간주됩니다. 이 상태에서는 때로는 컨트롤이 할당되고 때로는 후보가 할당됩니다. 여기서는 "활성화됨(enabled)"이라고 부르지 않는데, 이는 혼동을 줄 수 있는 과부하된 용어이기 때문입니다. 실험 용어로는, 실험이 *실행 중(running)*이며 피처 플래그는 conditional 상태입니다.

피처 플래그가 활성화되면(상태가 on인 경우), 항상 후보가 할당됩니다.

용어를 일관되게 사용하도록 노력해야 하므로, 실험에서는 피처 플래그를 conditional로 설정할 때까지 비활성(inactive) 상태의 실험이 됩니다. 그 이후에는 실험이 실행 중(running) 상태로 간주됩니다. 피처 플래그를 "활성화"하기로 선택한 경우, 실험 참여를 거부하지 않는 한 모든 사람에게 후보가 할당되므로 실험이 해결됨(resolved) 상태로 간주해야 합니다.