셀프 호스팅 모델을 사용하도록 GitLab 구성
GitLab v19.2Offering: GitLab Self-Managed, GitLab Dedicated for Government
인프라에서 셀프 호스팅 모델에 접근하도록 GitLab 인스턴스를 구성하려면: GitLab 인스턴스와 로컬 AI Gateway 간의 접근을 구성하려면: AI Gateway URL이 로컬 네트워크 또는 사설 IP 주소(예: 172.31.x.x 또는 ip-172-xx-xx-xx.region.compute.internal과 같은 내부 호스트 이름)를 가리키는 경우 GitLab은 보안상의 이유로 요청을 차단할 수 있습니다.
히스토리
- GitLab 17.1에서
ai_custom_model이라는 플래그와 함께 도입되었습니다. 기본적으로 비활성화됩니다. - GitLab 17.6에서 GitLab Self-Managed에서 활성화되었습니다.
- GitLab 17.6 이상에서 GitLab Duo 애드온이 필요하도록 변경되었습니다.
- GitLab 17.8에서 피처 플래그
ai_custom_model이 제거되었습니다. - GitLab 17.9에서 UI를 사용하여 AI Gateway URL 설정 기능이 추가되었습니다.
- GitLab 17.9에서 일반적으로 사용 가능합니다.
- GitLab 18.0에서 Premium을 포함하도록 변경되었습니다.
- GitLab 18.5에서 GitLab Dedicated for Government에서 활성화되었습니다.
사전 요구사항:
- GitLab을 버전 17.9 이상으로 업그레이드합니다.
- 관리자여야 합니다.
인프라에서 셀프 호스팅 모델에 접근하도록 GitLab 인스턴스를 구성하려면:
- AI Gateway에 접근하도록 GitLab 인스턴스를 구성합니다.
- GitLab 18.4 이상에서 GitLab Duo Agent Platform 서비스에 접근하도록 GitLab 인스턴스를 구성합니다.
- GitLab 인스턴스에 셀프 호스팅 모델을 추가합니다.
- 기능에 대한 셀프 호스팅 모델을 선택합니다.
로컬 AI Gateway에 대한 접근 구성#
GitLab 인스턴스와 로컬 AI Gateway 간의 접근을 구성하려면:
- 오른쪽 상단 모서리에서 Admin을 선택합니다.
- 왼쪽 사이드바에서 GitLab Duo를 선택합니다.
- Change configuration을 선택합니다.
- Local AI Gateway URL 아래에 AI Gateway URL을 입력합니다.
- Save changes를 선택합니다.
AI Gateway URL이 로컬 네트워크 또는 사설 IP 주소(예: 172.31.x.x 또는 ip-172-xx-xx-xx.region.compute.internal과 같은 내부 호스트 이름)를 가리키는 경우 GitLab은 보안상의 이유로 요청을 차단할 수 있습니다. 이 주소에 대한 요청을 허용하려면 주소를 IP 허용 목록에 추가합니다.
AI Gateway 타임아웃 구성#
히스토리
- GitLab 18.7에서 도입되었습니다.
리소스를 보존하고 장기 실행 쿼리를 방지하기 위해 모델 응답을 기다릴 때 AI Gateway에 대한 GitLab 요청의 타임아웃을 구성합니다. 큰 컨텍스트 윈도우 또는 복잡한 쿼리가 있는 셀프 호스팅 모델에는 더 긴 타임아웃을 사용합니다.
60초에서 600초(10분) 사이의 타임아웃을 구성할 수 있습니다. 타임아웃을 설정하지 않으면 GitLab은 기본 타임아웃인 60초를 사용합니다.
AI Gateway 타임아웃을 구성하려면:
- 오른쪽 상단 모서리에서 Admin을 선택합니다.
- 왼쪽 사이드바에서 GitLab Duo를 선택합니다.
- Change configuration을 선택합니다.
- AI Gateway request timeout 아래에 타임아웃 값을 초 단위로 입력합니다(60에서 600 사이).
- Save changes를 선택합니다.
타임아웃 값 결정#
타임아웃 값은 특정 배포 및 사용 사례에 따라 다릅니다.
타임아웃 값을 결정하려면:
- 기본 타임아웃인 60초로 시작하고 타임아웃 오류를 모니터링합니다.
- 로그에서
A1000타임아웃 오류를 모니터링합니다. 이러한 오류가 자주 발생하면 타임아웃을 늘리는 것을 고려합니다. - 사용 사례를 고려합니다. 더 큰 프롬프트, 복잡한 코드 생성 작업 또는 큰 디자인 문서 처리에는 더 긴 타임아웃이 필요할 수 있습니다.
- 인프라를 고려합니다. 모델 성능은 사용 가능한 GPU 리소스, AI Gateway와 모델 엔드포인트 간의 네트워크 지연 시간, 모델의 처리 능력에 따라 달라집니다.
- 점진적으로 늘립니다. 타임아웃이 발생하면 값을 점진적으로(예: 30-60초씩) 늘리고 결과를 모니터링합니다.
타임아웃 오류 트러블슈팅에 대한 자세한 내용은 오류 A1000을 참조하세요.
GitLab Duo Agent Platform에 대한 접근 구성#
히스토리
- GitLab 18.4에서
self_hosted_agent_platform이라는 피처 플래그와 함께 실험으로 도입되었습니다. 기본적으로 비활성화됩니다. - GitLab 18.5에서 실험에서 베타로 변경되었습니다.
- GitLab 18.7에서 활성화되었습니다.
- GitLab 18.8에서 일반적으로 사용 가능합니다.
- GitLab 18.9에서 피처 플래그
self_hosted_agent_platform이 제거되었습니다. - GitLab 18.7 및 18.8에서 이 기능은 온라인 라이선스를 보유한 고객의 베타입니다. 이 기능을 사용하려면 셀프 호스팅 베타 모델 및 기능을 켜야 합니다.
사전 요구사항:
- 인스턴스에 오프라인 라이선스가 있는 경우 GitLab Duo Agent Platform Self-Hosted 애드온이 있어야 합니다.
GitLab 인스턴스에서 Agent Platform 서비스에 접근하려면:
- 오른쪽 상단 모서리에서 Admin을 선택합니다.
- 왼쪽 사이드바에서 GitLab Duo를 선택합니다.
- Change configuration을 선택합니다.
- Local URL for the GitLab Duo Agent Platform service 아래에 로컬 Agent Platform 서비스의 URL을 입력합니다.
URL은 일반적으로 Local AI Gateway URL과 동일하지만 gRPC 포트 :50052에 있습니다.
-
http://또는https://와 같은 URL 접두사를 포함하지 마세요. -
권장되는 대로 NGINX 리버스 프록시로 SSL을 설정했거나 Ingress가 활성화된 Helm 차트를 사용하는 경우 포트를 지정하지 마세요. NGINX Ingress가 포트 포워딩을 처리합니다.
-
선택사항. 로컬 GitLab Duo Agent Platform 엔드포인트가 TLS를 사용하는 경우 Security 아래에서 Use secure connection (TLS) for GitLab Duo Agent Platform service 체크박스를 선택합니다.
-
Save changes를 선택합니다.
셀프 호스팅 모델 추가#
GitLab Duo 기능과 함께 사용하려면 GitLab 인스턴스에 셀프 호스팅 모델을 추가해야 합니다.
셀프 호스팅 모델을 추가하려면:
오른쪽 상단 모서리에서 Admin을 선택합니다.
왼쪽 사이드바에서 GitLab Duo를 선택합니다.
Configure models for GitLab Duo를 선택합니다.
Configure models for GitLab Duo를 사용할 수 없는 경우 구매 후 구독을 동기화합니다:
왼쪽 사이드바에서 Subscription을 선택합니다.
-
Subscription details에서 Last sync 오른쪽에 있는 구독 동기화 ( retry )를 선택합니다.
Add self-hosted model을 선택합니다.
필드를 완성합니다:
Deployment name: 모델 배포를 고유하게 식별하는 이름을 입력합니다. 예를 들어 Mixtral-8x7B-it-v0.1 on GCP.
-
Model family: 배포가 속하는 모델 패밀리를 선택합니다. 지원되거나 호환되는 모델을 선택할 수 있습니다.
-
Endpoint: 모델이 호스팅되는 URL을 입력합니다.
-
API key: 선택사항. 모델에 접근하는 데 API 키가 필요한 경우 추가합니다.
-
Model identifier: 배포 방법에 따라 모델 식별자를 입력합니다. 모델 식별자는 다음 형식과 일치해야 합니다:
| 배포 방법 | 형식 | 예시 |
|---|---|---|
| vLLM | custom_openai/<vLLM을 통해 제공되는 모델 이름> | custom_openai/Mixtral-8x7B-Instruct-v0.1 |
| Amazon Bedrock - 모델 식별자 설정 | bedrock/<모델의 모델 ID> | bedrock/mistral.mixtral-8x7b-instruct-v0:1 |
| Amazon Bedrock - 애플리케이션 추론 프로필 ARN 사용 | bedrock/converse/<애플리케이션 추론 프로필 ARN> | bedrock/converse/arn:aws:bedrock:us-east-1:123456789012:application-inference-profile/abcd1234efgh |
| Gemini Enterprise Agent Platform | vertex_ai/<모델의 모델 ID> | vertex_ai/claude-sonnet-4-6@default |
| Anthropic | anthropic/<모델의 모델 ID> | anthropic/claude-opus-4-6 |
| OpenAI | openai/<모델의 모델 ID> | openai/gpt-5 |
| Azure OpenAI | azure/<모델의 모델 ID> | azure/gpt-35-turbo |
Add self-hosted model을 선택합니다.
Amazon Bedrock 모델 추가#
Amazon Bedrock 셀프 호스팅 모델을 추가할 때 다음 중 하나를 수행할 수 있습니다:
- 모델 식별자를 설정합니다. 이것이 기본 방법입니다.
- 애플리케이션 추론 프로필 ARN을 사용합니다. 팀 또는 프로젝트별 비용 할당 또는 지출을 추적하려는 경우 이 방법을 사용합니다.
모델 식별자 설정#
Amazon Bedrock 모델의 모델 식별자를 설정하려면:
AWS_REGION을 설정합니다. AI Gateway Docker 구성에서 해당 지역의 모델에 접근할 수 있는지 확인합니다.
교차 지역 추론을 위해 모델의 추론 프로필 ID에 지역 접두사를 추가합니다.
모델 식별자의 접두사로 bedrock/ 접두사 지역을 사용합니다.
예를 들어 도쿄 지역의 Anthropic Claude 4.0 모델의 경우:
AWS_REGION은 ap-northeast-1입니다.
-
교차 지역 추론 접두사는
apac.입니다. -
모델 식별자는
bedrock/apac.anthropic.claude-sonnet-4-20250514-v1:0입니다.
일부 지역은 교차 지역 추론을 지원하지 않습니다. 이러한 지역의 경우 모델 식별자에 지역 접두사를 지정하지 마세요. 예를 들어:
-
AWS_REGION은eu-west-2입니다. -
모델 식별자는
anthropic.claude-sonnet-4-5-20250929-v1:0입니다.
애플리케이션 추론 프로필 ARN 사용#
애플리케이션 추론 프로필 ARN을 모델 식별자로 사용하려면 다음 형식을 사용합니다:
bedrock/converse/arn:aws:bedrock:<region>:<account-id>:application-inference-profile/<id>
예를 들어:
bedrock/converse/arn:aws:bedrock:us-east-1:123456789012:application-inference-profile/abcd1234efgh
converse/ 접두사는 ARN 기반 식별자에 필요한 Amazon Bedrock Converse API를 통해 요청을 라우팅합니다.
셀프 호스팅 베타 모델 및 기능 켜기#
베타 셀프 호스팅 모델 및 기능을 켜면 GitLab 테스트 계약에도 동의하는 것입니다.
셀프 호스팅 베타 모델 및 기능을 활성화하려면:
- 오른쪽 상단 모서리에서 Admin을 선택합니다.
- 왼쪽 사이드바에서 GitLab Duo를 선택합니다.
- Change configuration을 선택합니다.
- Self-hosted beta models and features 아래에서 Use beta models and features in GitLab Duo Self-Hosted 체크박스를 선택합니다.
- Save changes를 선택합니다.
셀프 호스팅 모델을 사용하도록 GitLab Duo 기능 구성#
구성된 기능 보기#
- 오른쪽 상단 모서리에서 Admin을 선택합니다.
- 왼쪽 사이드바에서 GitLab Duo를 선택합니다.
- Configure models for GitLab Duo를 선택합니다.
Configure models for GitLab Duo를 사용할 수 없는 경우 구매 후 구독을 동기화합니다:
왼쪽 사이드바에서 Subscription을 선택합니다.
-
Subscription details에서 Last sync 오른쪽에 있는 구독 동기화 ( retry )를 선택합니다.
-
AI-native features 탭을 선택합니다.
기능에 대한 셀프 호스팅 모델 선택#
셀프 호스팅 모델을 선택하려면:
- 오른쪽 상단 모서리에서 Admin을 선택합니다.
- 왼쪽 사이드바에서 GitLab Duo를 선택합니다.
- Configure models for GitLab Duo를 선택합니다.
- AI-native features 탭을 선택합니다.
- 셀프 호스팅 모델을 선택할 기능에 대해 드롭다운 목록에서 모델을 선택합니다.
GitLab Duo Chat 하위 기능에 대한 모델을 지정하지 않으면 General Chat에 구성된 모델을 자동으로 사용합니다. 이렇게 하면 각 하위 기능에 대한 개별 모델 선택 없이도 모든 Chat 기능이 작동합니다.
기능에 대한 GitLab 관리 모델 선택#
히스토리
셀프 호스팅 AI Gateway 및 셀프 호스팅 모델을 사용하더라도 기능에 대한 GitLab 관리 모델을 선택할 수 있습니다.
- 오른쪽 상단 모서리에서 Admin을 선택합니다.
- 왼쪽 사이드바에서 GitLab Duo를 선택합니다.
- Configure models for GitLab Duo를 선택합니다.
- AI-native features 탭을 선택합니다.
- 구성할 기능 및 하위 기능에 대해 드롭다운 목록에서 GitLab-managed model을 선택합니다.
GitLab Duo 기능 끄기#
기능에 대한 모델을 선택하지 않더라도 GitLab Duo 기능은 켜진 상태를 유지합니다.
GitLab Duo 기능을 끄려면:
- 오른쪽 상단 모서리에서 Admin을 선택합니다.
- 왼쪽 사이드바에서 GitLab Duo를 선택합니다.
- Configure models for GitLab Duo를 선택합니다.
- AI-native features 탭을 선택합니다.
- 끄려는 기능에 대해 드롭다운 목록에서 Disabled를 선택합니다.
GitLab 문서 셀프 호스팅#
설정이 docs.gitlab.com에서 GitLab 문서에 접근하지 못하게 하는 경우
문서를 셀프 호스팅할 수 있습니다.
자세한 내용은 GitLab 제품 문서 호스팅을 참조하세요.