자체 호스팅 모델 문제 해결

GitLab Duo Self-Hosted 배포를 위한 문제 해결 팁

히스토리 GitLab 17.1에서 ai_custom_model 이라는 플래그 와 함께 도입 되었습니다. 기본적으로 비활성화됩니다. GitLab 17.6에서 GitLab Self-Managed에서 활성화 되었습니다. GitLab 17.6 이후에 GitLab Duo 애드온이 필요하도록 변경되었습니다. GitLab 17.8에서 기능 플래그 ai_custom_model 이 제거되었습니다. GitLab 17.9에서 일반 제공됩니다. GitLab 18.0에서 Premium을 포함하도록 변경되었습니다. 문제 해결을 시작하기 전에 다음을 준비해야 합니다: gitlab-rails 콘솔 에 접근할 수 있어야 합니다. AI Gateway Docker 이미지에서 쉘을 엽니다. 다음의 엔드포인트를 알고 있어야 합니다: AI Gateway가 호스팅된 엔드포인트 모델이 호스팅된 엔드포인트 로깅 활성화 하여 GitLab에서 AI Gateway로의 요청과 응답이 llm.log 에 기록되는지 확인합니다. GitLab Duo 문제 해결에 대한 자세한 정보는 다음을 참조하세요: GitLab Duo 문제 해결 Code Suggestions 문제 해결 GitLab Duo Chat 문제 해결 디버깅 스크립트 사용 # 관리자가 자체 호스팅 모델 구성을 검증하는 데 도움이 되는 두 가지 디버깅 스크립트를 제공합니다. GitLab에서 AI Gateway로의 연결을 디버그합니다. GitLab 인스턴스에서 Rake 태스크 를 실행합니다: gitlab-rake "gitlab:duo:verify_self_hosted_setup[<username>]" 선택 사항: 시트가 할당된 <username> 을 포함합니다. 사용자 이름 파라미터를 포함하지 않으면 Rake 태스크는 루트 사용자를 사용합니다. AI Gateway 설정을 디버그합니다. AI Gateway 컨테이너에서: 인증을 비활성화하여 AI Gateway 컨테이너를 다시 시작합니다: -e AIGW_AUTH__BYPASS_EXTERNAL=true 이 설정은 문제 해결 명령이 시스템 교환 테스트 를 실행하는 데 필요합니다. 문제 해결이 완료된 후 이 설정을 제거해야 합니다. AI Gateway 컨테이너에서 다음을 실행합니다: docker exec -it <ai-gateway-container> sh poetry run troubleshoot [options] troubleshoot 명령은 다음 옵션을 지원합니다: 옵션 기본값 예시 설명 --endpoint localhost:5052 --endpoint=localhost:5052 AI Gateway 엔드포인트 --model-family - --model-family=mistral 테스트할 모델 패밀리. mistral , mixtral , gpt , claude_3 중 하나 --model-endpoint - --model-endpoint=http://localhost:4000/v1 모델 엔드포인트. vLLM에서 호스팅된 모델의 경우 /v1 접미사를 추가합니다. --mod