InfoGrab DocsInfoGrab Docs

GitLab Dedicated용 자체 호스팅 모델 구성

요약

GitLab Dedicated용 AI Gateway를 사용해 자체 호스팅 모델을 연결합니다. GitLab Dedicated용 AI Gateway는 GitLab Dedicated 인스턴스와 같은 AWS 환경 및 리전에서 실행됩니다.

GitLab Dedicated용 AI Gateway를 사용해 자체 호스팅 모델을 연결합니다. GitLab Duo Agent Platform에서는 AI Gateway를 Amazon Bedrock에 연결해 AWS 리전 내에서 추론을 유지할 수 있습니다. 또는 선호하는 공급자를 사용할 수 있습니다.

하이브리드 AI Gateway 및 모델 구성#

GitLab Dedicated용 AI Gateway는 GitLab Dedicated 인스턴스와 같은 AWS 환경 및 리전에서 실행됩니다. GitLab이 게이트웨이를 호스팅하고 구성합니다. AI Gateway를 설치하거나 Admin 영역에서 로컬 AI Gateway URL을 입력할 필요가 없습니다.

GitLab Dedicated용 AI Gateway를 사용하면 인스턴스가 하이브리드 AI Gateway 및 모델 구성을 사용합니다. 각 GitLab Duo 기능에는 다음 중 하나를 사용할 수 있습니다.

  • 자체 호스팅 모델: 기능이 GitLab Dedicated용 AI Gateway를 통해 구성한 모델 엔드포인트로 요청을 보냅니다.
  • GitLab 관리형 모델: 기능이 GitLab.com AI Gateway로 요청을 보냅니다. GitLab Dedicated용 AI Gateway는 GitLab 관리형 모델로 라우팅할 수 없습니다.

GitLab Dedicated용 AI Gateway는 인스턴스의 기본 동작을 변경하지 않습니다. 기본적으로 모든 GitLab Duo 기능은 GitLab.com AI Gateway를 통해 GitLab 관리형 모델을 사용합니다. 인스턴스는 자체 호스팅 모델을 사용하도록 구성한 기능에 대해서만 GitLab Dedicated용 AI Gateway를 통해 요청을 보냅니다.

자체 호스팅 모델 추가#

GitLab 인스턴스에서 사용할 자체 호스팅 모델을 추가할 수 있습니다.

자체 호스팅 모델을 추가하려면 다음을 수행합니다.

  1. 오른쪽 상단에서 Admin을 선택합니다.

  2. 왼쪽 사이드바에서 GitLab Duo를 선택합니다.

  3. Manage models를 선택합니다.

  4. Add self-hosted model을 선택합니다.

  5. 필드를 작성합니다.

    • Deployment name: 모델 배포를 고유하게 식별하는 이름을 입력합니다 (예: Mixtral-8x7B-it-v0.1 on GCP).

    • Model family: 배포가 속한 모델 계열을 선택합니다. 지원되는 모델 또는 호환되는 모델을 선택할 수 있습니다.

    • Endpoint: 모델이 호스팅되는 URL을 입력합니다.

    • API key: 선택 사항. 모델에 접근하기 위한 API 키를 추가합니다.

    • Model identifier: 배포 방법에 따른 모델 ID를 입력합니다. 모델 ID는 다음 형식과 일치해야 합니다.

      배포 방법 형식 예시
      Amazon Bedrock (model ID) bedrock/<model ID> bedrock/mistral.mixtral-8x7b-instruct-v0:1
      Amazon Bedrock (application inference profile ARN) bedrock/converse/<application inference profile ARN> bedrock/converse/arn:aws:bedrock:us-east-1:123456789012:application-inference-profile/abcd1234efgh
      Gemini Enterprise Agent Platform vertex_ai/<model ID> vertex_ai/claude-sonnet-4-6@default
      Anthropic anthropic/<model ID> anthropic/claude-opus-4-6
      OpenAI openai/<model ID> openai/gpt-5
      Azure OpenAI azure/<model ID> azure/gpt-35-turbo
  6. Add self-hosted model을 선택합니다.

자체 호스팅 모델을 추가하면 사용할 수 있게 되지만 어떤 GitLab Duo 기능에도 할당되지는 않습니다. 사용하려면 기능에 자체 호스팅 모델을 선택해야 합니다. 자체 호스팅 모델을 선택하지 않은 기능은 계속 GitLab.com AI Gateway를 통해 GitLab 관리형 모델을 사용합니다.

프롬프트 및 응답 로깅#

기본적으로 GitLab Dedicated용 AI Gateway는 프롬프트, 코드 입력, 모델 응답처럼 GitLab Duo 요청의 콘텐츠를 기록하지 않습니다.

상세 로깅을 켜는 Enable AI logs 설정은 GitLab Dedicated의 Admin 영역에서 사용할 수 없습니다.

GitLab 관리형 모델을 사용하는 기능의 요청은 GitLab.com AI Gateway로 전달됩니다. GitLab이 해당 데이터를 처리하는 방법에 대한 자세한 내용은 GitLab Duo 데이터 사용을 참고합니다.

GitLab은 모델 공급자가 생성한 로그를 관리하지 않습니다. 자세한 내용은 해당 공급자의 문서를 참고합니다.

관련 주제#

GitLab Dedicated용 자체 호스팅 모델 구성

GitLab v19.6
Tier: Ultimate
Offering: GitLab Dedicated
원문 보기

요약

GitLab Dedicated용 AI Gateway를 사용해 자체 호스팅 모델을 연결합니다. GitLab Dedicated용 AI Gateway는 GitLab Dedicated 인스턴스와 같은 AWS 환경 및 리전에서 실행됩니다.

GitLab Dedicated용 AI Gateway를 사용해 자체 호스팅 모델을 연결합니다. GitLab Duo Agent Platform에서는 AI Gateway를 Amazon Bedrock에 연결해 AWS 리전 내에서 추론을 유지할 수 있습니다. 또는 선호하는 공급자를 사용할 수 있습니다.

하이브리드 AI Gateway 및 모델 구성#

GitLab Dedicated용 AI Gateway는 GitLab Dedicated 인스턴스와 같은 AWS 환경 및 리전에서 실행됩니다. GitLab이 게이트웨이를 호스팅하고 구성합니다. AI Gateway를 설치하거나 Admin 영역에서 로컬 AI Gateway URL을 입력할 필요가 없습니다.

GitLab Dedicated용 AI Gateway를 사용하면 인스턴스가 하이브리드 AI Gateway 및 모델 구성을 사용합니다. 각 GitLab Duo 기능에는 다음 중 하나를 사용할 수 있습니다.

  • 자체 호스팅 모델: 기능이 GitLab Dedicated용 AI Gateway를 통해 구성한 모델 엔드포인트로 요청을 보냅니다.
  • GitLab 관리형 모델: 기능이 GitLab.com AI Gateway로 요청을 보냅니다. GitLab Dedicated용 AI Gateway는 GitLab 관리형 모델로 라우팅할 수 없습니다.

GitLab Dedicated용 AI Gateway는 인스턴스의 기본 동작을 변경하지 않습니다. 기본적으로 모든 GitLab Duo 기능은 GitLab.com AI Gateway를 통해 GitLab 관리형 모델을 사용합니다. 인스턴스는 자체 호스팅 모델을 사용하도록 구성한 기능에 대해서만 GitLab Dedicated용 AI Gateway를 통해 요청을 보냅니다.

자체 호스팅 모델 추가#

GitLab 인스턴스에서 사용할 자체 호스팅 모델을 추가할 수 있습니다.

자체 호스팅 모델을 추가하려면 다음을 수행합니다.

  1. 오른쪽 상단에서 Admin을 선택합니다.

  2. 왼쪽 사이드바에서 GitLab Duo를 선택합니다.

  3. Manage models를 선택합니다.

  4. Add self-hosted model을 선택합니다.

  5. 필드를 작성합니다.

    • Deployment name: 모델 배포를 고유하게 식별하는 이름을 입력합니다 (예: Mixtral-8x7B-it-v0.1 on GCP).

    • Model family: 배포가 속한 모델 계열을 선택합니다. 지원되는 모델 또는 호환되는 모델을 선택할 수 있습니다.

    • Endpoint: 모델이 호스팅되는 URL을 입력합니다.

    • API key: 선택 사항. 모델에 접근하기 위한 API 키를 추가합니다.

    • Model identifier: 배포 방법에 따른 모델 ID를 입력합니다. 모델 ID는 다음 형식과 일치해야 합니다.

      배포 방법 형식 예시
      Amazon Bedrock (model ID) bedrock/<model ID> bedrock/mistral.mixtral-8x7b-instruct-v0:1
      Amazon Bedrock (application inference profile ARN) bedrock/converse/<application inference profile ARN> bedrock/converse/arn:aws:bedrock:us-east-1:123456789012:application-inference-profile/abcd1234efgh
      Gemini Enterprise Agent Platform vertex_ai/<model ID> vertex_ai/claude-sonnet-4-6@default
      Anthropic anthropic/<model ID> anthropic/claude-opus-4-6
      OpenAI openai/<model ID> openai/gpt-5
      Azure OpenAI azure/<model ID> azure/gpt-35-turbo
  6. Add self-hosted model을 선택합니다.

자체 호스팅 모델을 추가하면 사용할 수 있게 되지만 어떤 GitLab Duo 기능에도 할당되지는 않습니다. 사용하려면 기능에 자체 호스팅 모델을 선택해야 합니다. 자체 호스팅 모델을 선택하지 않은 기능은 계속 GitLab.com AI Gateway를 통해 GitLab 관리형 모델을 사용합니다.

프롬프트 및 응답 로깅#

기본적으로 GitLab Dedicated용 AI Gateway는 프롬프트, 코드 입력, 모델 응답처럼 GitLab Duo 요청의 콘텐츠를 기록하지 않습니다.

상세 로깅을 켜는 Enable AI logs 설정은 GitLab Dedicated의 Admin 영역에서 사용할 수 없습니다.

GitLab 관리형 모델을 사용하는 기능의 요청은 GitLab.com AI Gateway로 전달됩니다. GitLab이 해당 데이터를 처리하는 방법에 대한 자세한 내용은 GitLab Duo 데이터 사용을 참고합니다.

GitLab은 모델 공급자가 생성한 로그를 관리하지 않습니다. 자세한 내용은 해당 공급자의 문서를 참고합니다.

관련 주제#