머신러닝 모델을 만들 때는 모델의 성능을 개선하기 위해 다양한 파라미터, 구성, 특성 엔지니어링을 실험하게 됩니다. 나중에 실험을 재현하려면 메타데이터와 아티팩트를 효과적으로 추적해야 합니다. GitLab 모델 실험을 사용하면 파라미터, 메트릭, 아티팩트를 GitLab에 직접 추적하고 기록할 수 있습니다.

실험 개요#

프로젝트에서 실험은 비교 가능한 모델 실행의 모음입니다. 실험은 장기적으로 유지될 수도 있고(예: 하나의 사용 사례를 나타내는 경우), 단기적일 수도 있지만(머지 리퀘스트가 트리거한 하이퍼파라미터 튜닝 결과), 일반적으로 동일한 메트릭으로 측정되는 유사한 파라미터 집합을 가진 모델 실행을 포함합니다.

모델 실행#

모델 실행은 머신러닝 모델 훈련의 변형으로, 최종적으로 모델의 한 버전으로 승격될 수 있습니다.

데이터 과학자의 목표는 주어진 메트릭이 나타내는 최상의 모델 성능으로 이어지는 파라미터 값을 가진 모델 실행을 찾는 것입니다.

파라미터 예시는 다음과 같습니다:

• 알고리즘(선형 회귀 또는 의사결정 트리 등).
• 알고리즘의 하이퍼파라미터(학습률, 트리 깊이, 에포크 수).
• 포함된 특성.

새 실험 및 실행 추적#

실험과 시도는 MLflow 클라이언트 호환성을 통해서만 추적할 수 있습니다. MLflow 클라이언트의 백엔드로 GitLab을 사용하는 방법에 대한 자세한 내용은 MLflow 클라이언트 호환성을 참고합니다.

모델 실행 탐색#

현재 활성 실험을 나열하려면 다음 단계를 수행합니다:

1. 상단 표시줄에서 Search or go to를 선택하고 프로젝트를 찾습니다.
2. 왼쪽 사이드바에서 Analyze > Model experiments를 선택합니다.
3. 기록된 모든 실행을 메트릭, 파라미터, 메타데이터와 함께 표시하려면 실험을 선택합니다.
4. 실행의 세부 정보를 표시하려면 Details를 선택합니다.

로그 아티팩트 보기#

시도 아티팩트는 패키지로 저장됩니다. 실행에 대한 아티팩트가 기록되면 해당 실행에 기록된 모든 아티팩트가 패키지 레지스트리에 나열됩니다. 실행의 패키지 이름은 ml_experiment_<experiment_id>이며, 버전은 실행 IID입니다. 아티팩트로 연결되는 링크는 Experiment Runs 목록이나 Run detail에서도 접근할 수 있습니다.

CI 정보 보기#

실행을 해당 실행을 생성한 CI job과 연결하면 머지 리퀘스트, 파이프라인, 파이프라인을 트리거한 사용자로 빠르게 이동할 수 있습니다:

기록된 메트릭 보기#

실험을 실행하면 GitLab은 메트릭, 파라미터, 메타데이터를 포함한 관련 데이터를 기록합니다. 분석을 위해 차트에서 메트릭을 확인할 수 있습니다.

기록된 메트릭을 보려면 다음 단계를 수행합니다:

1. 상단 표시줄에서 Search or go to를 선택하고 프로젝트를 찾습니다.
2. 왼쪽 사이드바에서 Analyze > Model experiments를 선택합니다.
3. 확인하려는 실험을 선택합니다.
4. Performance 탭을 선택합니다.