Configure LLM platforms

Supported LLM Serving Platforms.

히스토리 GitLab 17.1에서 ai_custom_model 이라는 플래그 와 함께 도입 되었습니다. 기본적으로 비활성화되어 있습니다. GitLab 17.6에서 GitLab Self-Managed에서 활성화 되었습니다. GitLab 17.6 이상에서 GitLab Duo 애드온이 필요하도록 변경되었습니다. GitLab 17.8에서 기능 플래그 ai_custom_model 이 제거되었습니다. GitLab 17.9에서 일반적으로 사용 가능해졌습니다. GitLab 18.0에서 Premium을 포함하도록 변경되었습니다. AI Gateway는 LiteLLM 을 통해 여러 LLM 제공업체를 지원합니다. 각 플랫폼은 다양한 요구 사항을 충족할 수 있는 고유한 기능과 이점을 갖고 있습니다. 다음 문서는 당사가 검증하고 테스트한 제공업체를 요약합니다. 사용하려는 플랫폼이 이 문서에 없는 경우 플랫폼 요청 이슈(이슈 526144) 에서 피드백을 제공하세요. 여러 모델 및 플랫폼 사용 # 동일한 GitLab 인스턴스에서 여러 모델과 플랫폼을 사용할 수 있습니다. 예를 들어 Azure OpenAI를 사용하도록 하나의 기능을 구성하고 AWS Bedrock 또는 vLLM으로 서비스되는 자체 호스팅 모델을 사용하도록 다른 기능을 구성할 수 있습니다. 이 설정은 각 사용 사례에 가장 적합한 모델과 플랫폼을 선택할 수 있는 유연성을 제공합니다. 모델은 호환 플랫폼을 통해 지원되고 서비스되어야 합니다. 자체 호스팅 모델 배포 # vLLM # vLLM 은 메모리 효율성으로 LLM을 서비스하도록 최적화된 고성능 추론 서버입니다. 모델 병렬 처리를 지원하고 기존 워크플로우와 쉽게 통합됩니다. vLLM을 설치하려면 vLLM 설치 가이드 를 참조하세요. v0.6.4.post1 버전 이상을 설치해야 합니다. 엔드포인트 URL 구성 # GitLab에서 (vLLM과 같은) OpenAI API 호환 플랫폼의 엔드포인트 URL을 구성할 때: URL 뒤에 /v1 을 접미사로 추가해야 합니다. 기본 vLLM 구성을 사용하는 경우 엔드포인트 URL은 https://<hostname>:8000/v1 이 됩니다. 서버가 프록시 또는 로드 밸런서 뒤에 구성된 경우 포트를 지정하지 않아도 될 수 있으며 URL은 https://<hostname>/v1 이 됩니다. 모델 이름 찾기 # 모델이 배포된 후 GitLab의 모델 식별자 필드에 사용할 모델 이름을 얻으려면 vLLM 서버의 /v1/models 엔드포인트를 쿼리하세요: curl \ --header "Authorization: Bearer API_KEY" \ --header "Content-Type: application/json" \ http://your-vllm-server:8000/v1/models 모델 이름은 응답에서 data.id 필드의 값입니다. 응답 예시: { "object" : "list" , "data" : [ { "id" : "Mixtral-8x22B-Instruct-v0.1" , "object" : "model"