히스토리

• GitLab 17.1에서 ai_custom_model이라는 플래그와 함께 도입되었습니다. 기본적으로 비활성화됩니다.
• GitLab 17.6에서 GitLab Self-Managed에서 활성화되었습니다.
• GitLab 17.6 이상에서 GitLab Duo 애드온이 필요하도록 변경되었습니다.
• GitLab 17.8에서 피처 플래그 ai_custom_model이 제거되었습니다.
• GitLab 17.9에서 UI를 사용하여 AI Gateway URL 설정 기능이 추가되었습니다.
• GitLab 17.9에서 일반적으로 사용 가능합니다.
• GitLab 18.0에서 Premium을 포함하도록 변경되었습니다.

사전 요구사항:

• GitLab을 버전 17.9 이상으로 업그레이드합니다.
• 관리자여야 합니다.

인프라에서 셀프 호스팅 모델에 접근하도록 GitLab 인스턴스를 구성하려면:

1. AI Gateway에 접근하도록 GitLab 인스턴스를 구성합니다.
2. GitLab 18.4 이상에서 GitLab Duo Agent Platform 서비스에 접근하도록 GitLab 인스턴스를 구성합니다.
3. GitLab 인스턴스에 셀프 호스팅 모델을 추가합니다.
4. 기능에 대한 셀프 호스팅 모델을 선택합니다.

로컬 AI Gateway에 대한 접근 구성#

GitLab 인스턴스와 로컬 AI Gateway 간의 접근을 구성하려면:

1. 오른쪽 상단 모서리에서 Admin을 선택합니다.
2. 왼쪽 사이드바에서 GitLab Duo를 선택합니다.
3. Change configuration을 선택합니다.
4. Local AI Gateway URL 아래에 AI Gateway URL을 입력합니다.
5. Save changes를 선택합니다.

AI Gateway 타임아웃 구성#

히스토리

• GitLab 18.7에서 도입되었습니다.

리소스를 보존하고 장기 실행 쿼리를 방지하기 위해 모델 응답을 기다릴 때 AI Gateway에 대한 GitLab 요청의 타임아웃을 구성합니다. 큰 컨텍스트 윈도우 또는 복잡한 쿼리가 있는 셀프 호스팅 모델에는 더 긴 타임아웃을 사용합니다.

60초에서 600초(10분) 사이의 타임아웃을 구성할 수 있습니다. 타임아웃을 설정하지 않으면 GitLab은 기본 타임아웃인 60초를 사용합니다.

AI Gateway 타임아웃을 구성하려면:

1. 오른쪽 상단 모서리에서 Admin을 선택합니다.
2. 왼쪽 사이드바에서 GitLab Duo를 선택합니다.
3. Change configuration을 선택합니다.
4. AI Gateway request timeout 아래에 타임아웃 값을 초 단위로 입력합니다(60에서 600 사이).
5. Save changes를 선택합니다.

타임아웃 값 결정#

타임아웃 값은 특정 배포 및 사용 사례에 따라 다릅니다.

타임아웃 값을 결정하려면:

• 기본 타임아웃인 60초로 시작하고 타임아웃 오류를 모니터링합니다.
• 로그에서 A1000 타임아웃 오류를 모니터링합니다. 이러한 오류가 자주 발생하면 타임아웃을 늘리는 것을 고려합니다.
• 사용 사례를 고려합니다. 더 큰 프롬프트, 복잡한 코드 생성 작업 또는 큰 디자인 문서 처리에는 더 긴 타임아웃이 필요할 수 있습니다.
• 인프라를 고려합니다. 모델 성능은 사용 가능한 GPU 리소스, AI Gateway와 모델 엔드포인트 간의 네트워크 지연 시간, 모델의 처리 능력에 따라 달라집니다.
• 점진적으로 늘립니다. 타임아웃이 발생하면 값을 점진적으로(예: 30-60초씩) 늘리고 결과를 모니터링합니다.

타임아웃 오류 트러블슈팅에 대한 자세한 내용은 오류 A1000을 참조하세요.

GitLab Duo Agent Platform에 대한 접근 구성#

히스토리

• GitLab 18.4에서 self_hosted_agent_platform이라는 피처 플래그와 함께 실험으로 도입되었습니다. 기본적으로 비활성화됩니다.
• GitLab 18.5에서 실험에서 베타로 변경되었습니다.
• GitLab 18.7에서 활성화되었습니다.
• GitLab 18.8에서 일반적으로 사용 가능합니다.
• GitLab 18.9에서 피처 플래그 self_hosted_agent_platform이 제거되었습니다.
• GitLab 18.7 및 18.8에서 이 기능은 온라인 라이선스를 보유한 고객의 베타입니다. 이 기능을 사용하려면 셀프 호스팅 베타 모델 및 기능을 켜야 합니다.

사전 요구사항:

• 인스턴스에 오프라인 라이선스가 있는 경우 GitLab Duo Agent Platform Self-Hosted 애드온이 있어야 합니다.

GitLab 인스턴스에서 Agent Platform 서비스에 접근하려면:

1. 오른쪽 상단 모서리에서 Admin을 선택합니다.
2. 왼쪽 사이드바에서 GitLab Duo를 선택합니다.
3. Change configuration을 선택합니다.
4. Local URL for the GitLab Duo Agent Platform service 아래에 로컬 Agent Platform 서비스의 URL을 입력합니다.
   • URL은 일반적으로 Local AI Gateway URL과 동일하지만 gRPC 포트 :50052에 있습니다.
   • http:// 또는 https://와 같은 URL 접두사를 포함하지 마세요.
   • 권장되는 대로 NGINX 리버스 프록시로 SSL을 설정했거나 Ingress가 활성화된 Helm 차트를 사용하는 경우 포트를 지정하지 마세요. NGINX Ingress가 포트 포워딩을 처리합니다.
5. 선택사항. 로컬 GitLab Duo Agent Platform 엔드포인트가 TLS를 사용하는 경우 Security 아래에서 Use secure connection (TLS) for GitLab Duo Agent Platform service 체크박스를 선택합니다.
6. Save changes를 선택합니다.

셀프 호스팅 모델 추가#

GitLab Duo 기능과 함께 사용하려면 GitLab 인스턴스에 셀프 호스팅 모델을 추가해야 합니다.

셀프 호스팅 모델을 추가하려면:

1. 오른쪽 상단 모서리에서 Admin을 선택합니다.

2. 왼쪽 사이드바에서 GitLab Duo를 선택합니다.

3. Configure models for GitLab Duo를 선택합니다.

   • Configure models for GitLab Duo를 사용할 수 없는 경우 구매 후 구독을 동기화합니다:
     1. 왼쪽 사이드바에서 Subscription을 선택합니다.
     2. Subscription details에서 Last sync 오른쪽에 있는 구독 동기화 ([retry])를 선택합니다.

4. Add self-hosted model을 선택합니다.

5. 필드를 완성합니다:

   • Deployment name: 모델 배포를 고유하게 식별하는 이름을 입력합니다. 예를 들어 Mixtral-8x7B-it-v0.1 on GCP.

   • Model family: 배포가 속하는 모델 패밀리를 선택합니다. 지원되거나 호환되는 모델을 선택할 수 있습니다.

   • Endpoint: 모델이 호스팅되는 URL을 입력합니다.

   • API key: 선택사항. 모델에 접근하는 데 API 키가 필요한 경우 추가합니다.

   • Model identifier: 배포 방법에 따라 모델 식별자를 입력합니다. 모델 식별자는 다음 형식과 일치해야 합니다:

     배포 방법	형식	예시
     vLLM	custom_openai/<vLLM을 통해 제공되는 모델 이름>	custom_openai/Mixtral-8x7B-Instruct-v0.1
     Amazon Bedrock	bedrock/<모델의 모델 ID>	bedrock/mistral.mixtral-8x7b-instruct-v0:1
     Google Vertex AI	vertex_ai/<모델의 모델 ID>	vertex_ai/claude-sonnet-4-6@default
     Anthropic	anthropic/<모델의 모델 ID>	anthropic/claude-opus-4-6
     OpenAI	openai/<모델의 모델 ID>	openai/gpt-5
     Azure OpenAI	azure/<모델의 모델 ID>	azure/gpt-35-turbo

6. Add self-hosted model을 선택합니다.

Amazon Bedrock 모델의 모델 식별자 설정#

Amazon Bedrock 모델의 모델 식별자를 설정하려면:

1. AWS_REGION을 설정합니다. AI Gateway Docker 구성에서 해당 지역의 모델에 접근할 수 있는지 확인합니다.

2. 교차 지역 추론을 위해 모델의 추론 프로필 ID에 지역 접두사를 추가합니다.

3. 모델 식별자의 접두사로 bedrock/ 접두사 지역을 사용합니다.

   예를 들어 도쿄 지역의 Anthropic Claude 4.0 모델의 경우:

   • AWS_REGION은 ap-northeast-1입니다.
   • 교차 지역 추론 접두사는 apac.입니다.
   • 모델 식별자는 bedrock/apac.anthropic.claude-sonnet-4-20250514-v1:0입니다.

일부 지역은 교차 지역 추론을 지원하지 않습니다. 이러한 지역의 경우 모델 식별자에 지역 접두사를 지정하지 마세요. 예를 들어:

• AWS_REGION은 eu-west-2입니다.
• 모델 식별자는 anthropic.claude-sonnet-4-5-20250929-v1:0입니다.

셀프 호스팅 베타 모델 및 기능 켜기#

셀프 호스팅 베타 모델 및 기능을 활성화하려면:

1. 오른쪽 상단 모서리에서 Admin을 선택합니다.
2. 왼쪽 사이드바에서 GitLab Duo를 선택합니다.
3. Change configuration을 선택합니다.
4. Self-hosted beta models and features 아래에서 Use beta models and features in GitLab Duo Self-Hosted 체크박스를 선택합니다.
5. Save changes를 선택합니다.

셀프 호스팅 모델을 사용하도록 GitLab Duo 기능 구성#

구성된 기능 보기#

1. 오른쪽 상단 모서리에서 Admin을 선택합니다.
2. 왼쪽 사이드바에서 GitLab Duo를 선택합니다.
3. Configure models for GitLab Duo를 선택합니다.
   • Configure models for GitLab Duo를 사용할 수 없는 경우 구매 후 구독을 동기화합니다:
     1. 왼쪽 사이드바에서 Subscription을 선택합니다.
     2. Subscription details에서 Last sync 오른쪽에 있는 구독 동기화 ([retry])를 선택합니다.
4. AI-native features 탭을 선택합니다.

기능에 대한 셀프 호스팅 모델 선택#

셀프 호스팅 모델을 선택하려면:

1. 오른쪽 상단 모서리에서 Admin을 선택합니다.
2. 왼쪽 사이드바에서 GitLab Duo를 선택합니다.
3. Configure models for GitLab Duo를 선택합니다.
4. AI-native features 탭을 선택합니다.
5. 셀프 호스팅 모델을 선택할 기능에 대해 드롭다운 목록에서 모델을 선택합니다.

기능에 대한 GitLab 관리 모델 선택#

히스토리

• GitLab 18.3에서 ai_self_hosted_vendored_features라는 피처 플래그와 함께 베타로 도입되었습니다. 기본적으로 비활성화됩니다.
• GitLab 18.7에서 기본적으로 활성화되었습니다.
• GitLab 18.9에서 일반적으로 사용 가능합니다. 피처 플래그 ai_self_hosted_vendored_features가 제거되었습니다.

셀프 호스팅 AI Gateway 및 셀프 호스팅 모델을 사용하더라도 기능에 대한 GitLab 관리 모델을 선택할 수 있습니다.

1. 오른쪽 상단 모서리에서 Admin을 선택합니다.
2. 왼쪽 사이드바에서 GitLab Duo를 선택합니다.
3. Configure models for GitLab Duo를 선택합니다.
4. AI-native features 탭을 선택합니다.
5. 구성할 기능 및 하위 기능에 대해 드롭다운 목록에서 GitLab-managed model을 선택합니다.

GitLab Duo 기능 끄기#

기능에 대한 모델을 선택하지 않더라도 GitLab Duo 기능은 켜진 상태를 유지합니다.

GitLab Duo 기능을 끄려면:

1. 오른쪽 상단 모서리에서 Admin을 선택합니다.
2. 왼쪽 사이드바에서 GitLab Duo를 선택합니다.
3. Configure models for GitLab Duo를 선택합니다.
4. AI-native features 탭을 선택합니다.
5. 끄려는 기능에 대해 드롭다운 목록에서 Disabled를 선택합니다.

GitLab 문서 셀프 호스팅#

설정이 docs.gitlab.com에서 GitLab 문서에 접근하지 못하게 하는 경우 문서를 셀프 호스팅할 수 있습니다. 자세한 내용은 GitLab 제품 문서 호스팅을 참조하세요.

관련 주제#

• 지원되는 모델
• 호환 가능한 모델
• AI Gateway 구성 유형