실험 프레임워크 로드맵

실험 프레임워크 로드맵에 대해 설명합니다.

규모에서 실험을 실행하는 팀의 피드백을 기반으로 실험 플랫폼을 개선하는 데 적극적으로 투자하고 있습니다. 전체 로드맵은 실험 프로세스 및 속도 개선 에서 추적됩니다. 계획된 개선 사항 # 제외 경계를 넘어선 고정적인 후보 배정 # 현재 대조군 배정은 캐시되어 고정되어 있지만 후보 배정은 이후 실험 블록의 제외 규칙에 의해 재정의될 수 있습니다. 컨텍스트가 점진적으로 구축되는 등록 및 온보딩 시나리오에서 특히 유용한 다단계 실험 흐름을 단순화하기 위해 캐시된 후보 배정이 제외 로직보다 우선순위를 갖도록 하는 작업을 진행 중입니다. 관련: gitlab-experiment#91 테스트 및 검증을 위한 강제 변형 배정 # 엔지니어는 UI 파라미터를 전달할 명확한 방법이 없는 익명 진입점 및 백엔드 전용 실험을 포함하여 UAT 및 스테이징 검증 중에 특정 실험 변형에 스스로를 강제로 넣을 방법이 필요합니다. 세분화 규칙과 운영 도구를 통한 접근 방식을 탐색하고 있습니다. 관련: gitlab#579133 이벤트 유효성 검사 및 관찰 가능성 향상 # 실험 추적 이벤트가 올바르게 구조화되어 분석 파이프라인에 도착하는지 확인하는 것은 현재 늦은 단계의 수동 프로세스입니다. 이벤트 유효성 검사를 개발 주기의 초기 단계로 전환하고 스테이징 및 프로덕션 환경을 위한 준실시간 관찰 가능성을 제공하는 작업을 진행 중입니다. 관련: gitlab#579150 , gitlab#579137 우아한 실험 전환 # 실험이 완료되어 승격되거나 되돌려질 때 사용자는 경험의 급격한 변화를 겪을 수 있습니다. 이러한 사용자 경험 전환을 고려하고 원활하게 처리하는 방법에 대한 지침을 제공하기 위해 정리 프로세스를 개선하고 있습니다. 관련: gitlab#579148 목표 # 실험 설계에서 구현까지의 시간 단축 롤아웃 중 추적 관련 문제 감소 실험 수명주기 전반에 걸쳐 개발자 경험 향상