셀프 호스팅 모델을 위한 지원 플랫폼

지원되는 LLM 서빙 플랫폼.

히스토리 GitLab 17.1에서 ai_custom_model 이라는 플래그 와 함께 도입 되었습니다. 기본적으로 비활성화됩니다. GitLab 17.6에서 GitLab Self-Managed에 활성화 되었습니다. GitLab 17.6 이후 GitLab Duo 애드온이 필요하도록 변경되었습니다. GitLab 17.8에서 피처 플래그 ai_custom_model 이 제거되었습니다. GitLab 17.9에서 일반적으로 사용 가능해졌습니다. GitLab 18.0에서 Premium을 포함하도록 변경되었습니다. AI Gateway는 LiteLLM 을 통해 여러 LLM 프로바이더를 지원합니다. 각 플랫폼은 다양한 요구사항을 충족할 수 있는 고유한 기능과 이점을 가지고 있습니다. 다음 문서는 검증하고 테스트한 프로바이더를 요약합니다. 사용하려는 플랫폼이 이 문서에 없으면 플랫폼 요청 이슈 (이슈 526144) 에서 피드백을 제공하십시오. 셀프 호스팅 모델 배포용 # vLLM # vLLM 은 메모리