머신러닝 모델을 만들 때 모델의 성능을 개선하기 위해 다양한 파라미터, 구성 및 특성 엔지니어링을 실험하게 됩니다. 나중에 실험을 재현하려면 메타데이터와 아티팩트를 효과적으로 추적해야 합니다. GitLab 모델 실험을 사용하여 파라미터, 메트릭 및 아티팩트를 GitLab에 직접 추적하고 기록합니다.

실험이란?#

프로젝트에서 실험은 비교 가능한 모델 실행의 컬렉션입니다. 실험은 장기적으로 지속(예: 사용 사례를 나타낼 때)이거나 단기적(머지 리퀘스트에 의해 트리거된 하이퍼파라미터 튜닝 결과)일 수 있지만, 일반적으로 동일한 메트릭으로 측정된 유사한 파라미터 세트를 가진 모델 실행을 포함합니다.

모델 실행#

모델 실행은 머신러닝 모델 훈련의 변형으로, 결국 모델 버전으로 승격될 수 있습니다.

데이터 과학자의 목표는 주어진 메트릭으로 표시된 최상의 모델 성능으로 이어지는 파라미터 값을 가진 모델 실행을 찾는 것입니다.

파라미터 예시:

• 알고리즘(선형 회귀 또는 의사결정 트리 등).
• 알고리즘의 하이퍼파라미터(학습률, 트리 깊이, 에포크 수).
• 포함된 특성.

새 실험 및 실행 추적#

실험과 시도는 MLflow 클라이언트 호환성을 통해서만 추적할 수 있습니다. MLflow 클라이언트의 백엔드로 GitLab을 사용하는 방법에 대한 자세한 내용은 MLflow 클라이언트 호환성을 참조하세요.

모델 실행 탐색#

현재 활성 실험을 나열하려면:

1. 상단 표시줄에서 Search or go to를 선택하고 프로젝트를 찾습니다.
2. 왼쪽 사이드바에서 Analyze > Model experiments를 선택합니다.
3. 기록된 모든 실행을 메트릭, 파라미터 및 메타데이터와 함께 표시하려면 실험을 선택합니다.
4. 실행의 세부 정보를 표시하려면 Details를 선택합니다.

로그 아티팩트 보기#

시도 아티팩트는 패키지로 저장됩니다. 실행에 대한 아티팩트가 기록되면 실행에 대해 기록된 모든 아티팩트가 패키지 레지스트리에 나열됩니다. 실행의 패키지 이름은 버전이 실행 IID인 ml_experiment_<experiment_id>입니다. 아티팩트에 대한 링크는 Experiment Runs 목록 또는 Run detail에서도 액세스할 수 있습니다.

CI 정보 보기#

실행을 생성한 CI job과 연관시켜 머지 리퀘스트, 파이프라인 및 파이프라인을 트리거한 사용자에 대한 빠른 링크를 제공할 수 있습니다:

기록된 메트릭 보기#

실험을 실행하면 GitLab은 메트릭, 파라미터 및 메타데이터를 포함한 관련 데이터를 기록합니다. 분석을 위해 차트에서 메트릭을 볼 수 있습니다.

기록된 메트릭을 보려면:

1. 상단 표시줄에서 Search or go to를 선택하고 프로젝트를 찾습니다.
2. 왼쪽 사이드바에서 Analyze > Model experiments를 선택합니다.
3. 보려는 실험을 선택합니다.
4. Performance 탭을 선택합니다.