LLM 플랫폼 구성

지원되는 LLM 서빙 플랫폼 및 GitLab Duo Self-Hosted에서 클라우드·자체 호스팅 모델 배포 방법을 설명합니다.

히스토리 GitLab 17.1에서 ai_custom_model 이라는 플래그와 함께 도입 되었습니다. 기본적으로 비활성화됩니다. GitLab 17.6에서 GitLab Self-Managed에 활성화 되었습니다. GitLab 17.6 이상에서 GitLab Duo 애드온을 요구하도록 변경되었습니다. GitLab 17.8에서 기능 플래그 ai_custom_model 이 제거되었습니다. GitLab 17.9에서 일반 제공됩니다. GitLab 18.0에서 Premium을 포함하도록 변경되었습니다. GitLab 18.5에서 GitLab Dedicated for Government에 활성화 되었습니다. AI Gateway는 LiteLLM 을 통해 여러 LLM 공급자를 지원합니다. 플랫폼마다 서로 다른 요구 사항에 맞는 고유한 기능과 이점이 있습니다. 아래 문서는 GitLab이 검증하고 테스트한 공급자를 정리한 것입니다. 사용하려는 플랫폼이 이 문서에 없으면 플랫폼 요청 이슈(이슈 526144) 에 의견을 남깁니다. 여러 모델 및 플랫폼 사용 # 같은 GitLab 인스턴스에서 여러 모델과 플랫폼을 사용할 수 있습니다. 예를 들어 한 기능은 Azure OpenAI를 사용하도록 구성하고, 다른 기능은 AWS Bedrock 또는 vLLM으로 서빙하는 셀프 호스팅 모델을 사용하도록 구성할 수 있습니다. 이렇게 구성하면 사용 사례마다 가장 적합한 모델과 플랫폼을 선택할 수 있습니다. 모델은 지원 대상이어야 하고, 호환되는 플랫폼으로 서빙해야 합니다. 셀프 호스팅 모델 배포 # vLLM # vLLM 은 메모리를 효율적으로 사용하면서 LLM을 서빙하도록 설계된 고성능 추론 서버입니다. 모델 병렬 처리를 지원하며 기존 워크플로에 쉽게 통합됩니다. vLLM 설치 방법은 vLLM 설치 가이드 를 참고합니다. 버전 v0.18.1 이상을 설치해야 합니다. vLLM으로 GPT OSS 120B를 서빙하는 구체적인 설정 절차는 vLLM으로 GPT OSS 120B 서빙 을 참고합니다. 엔드포인트 URL 구성 # GitLab에서 OpenAI API와 호환되는 플랫폼(vLLM 등)의 엔드포인트 URL을 구성할 때는 다음을 따릅니다. URL 끝에 /v1 을 붙여야 합니다 기본 vLLM 구성을 사용하면 엔드포인트 URL은 https://<hostname>:8000/v1 이 됩니다 서버가 프록시나 로드 밸런서 뒤에 구성되어 있으면 포트를 지정하지 않아도 되며, 이 경우 URL은 https://<hostname>/v1 이 됩니다 모델 이름 확인 # 모델을 배포한 뒤 GitLab의 모델 식별자 필드에 입력할 모델 이름을 확인하려면 vLLM 서버의 /v1/models 엔드포인트를 쿼리합니다. curl \ --header "Authorization: Bearer API_KEY" \ --header "Content-Type: application/json" \ http://your-vllm-server:8000/v1/models 모델 이름은 응답의 data.id 필드 값입니다.