모델 전환

모델 전환에 대해 설명합니다.

GitLab AI Gateway의 모델 전환 프레임워크는 고객이 다양한 기능에 대해 다른 AI 모델 중에서 선택할 수 있게 합니다. 이 기능은 클라우드 연결 AI Gateway를 사용하는 GitLab.com 및 셀프 매니지드 인스턴스에서 사용 가능합니다. GitLab.com에서 이 기능은 네임스페이스 수준에서 사용 가능하여 그룹이 네임스페이스에 대해 다른 모델 중에서 선택할 수 있게 합니다. 네임스페이스가 모델을 "고정"하기로 결정하지 않은 경우 기본 모델이 사용됩니다. 이는 또한 사용자가 에이전틱 채팅과 같은 특정 기능에 대해 직접 모델을 변경할 수 있게 합니다. 이 기능을 "사용자 모델 선택"이라고 합니다. 클라우드 연결 AI Gateway를 사용하는 셀프 매니지드 인스턴스에서 이 기능은 인스턴스 수준에서 사용 가능합니다. 이 가이드는 SaaS 및 셀프 매니지드 인스턴스 모두에서 사용자가 선택할 수 있도록 새 모델을 추가하는 방법을 설명합니다. 모델 전환 프레임워크에 모델 추가 # 개요 # 모델 전환 프레임워크에 새 모델 추가는 두 가지 주요 단계를 포함합니다: 구성 파라미터와 함께 models.yml 에 모델 정의 unit_primitives.yml 에서 관련 기능에 대해 모델을 선택 가능하게 만들기 두 파일 모두 gitlab-ai-gateway 저장소에 있습니다. 사전 요구 사항 # 새 모델을 추가하기 전에 다음을 확인하세요: Runway에 적절한 인증/자격 증명이 구성되어 있는지 확인합니다(필요한 경우). 가장 일반적인 공급자에 대한 접근은 이미 구성되어 있습니다. 여기에는 OpenAI, Anthropic 및 Vertex AI가 포함됩니다. 그러나 완전히 새로운 공급자의 모델을 추가해야 하는 경우 Runway에 자격 증명을 추가해야 합니다. 로컬 GDK 환경에 적절한 인증/자격 증명이 구성되어 있는지 확인합니다(필요한 경우). 예: ANTHROPIC_API_KEY, OPENAI_API_KEY 등. 특정 기능의 폴더에 모델 패밀리에 대한 프롬프트 정의가 있는지 확인합니다. 이는 gitlab-ai-gateway 저장소에 있습니다. GDK 환경에서 FETCH_MODEL_SELECTION_DATA_FROM_LOCAL=true 환경 변수를 설정합니다. 이렇게 하면 모델 선택 데이터가 로컬 models.yml 및 unit_primitives.yml 파일에서 가져옵니다. 1단계: 모델 정의 # ai_gateway/model_selection/models.yml 에 모델 정의를 추가합니다. 각 모델에는 다음 속성이 필요합니다: 속성 필수 설명 name 예 UI에 표시되는 사람이 읽을 수 있는 이름(예: "OpenAI GPT-5-Mini" ) gitlab_identifier 예 내부적으로 사용되는 고유 식별자(예: gpt_5_mini ) family 아니오 사용할 프롬프트 정의 패밀리의 정렬된 목록( 프롬프트 선택 참조) params 예 모델 클라이언트에 전달되는 파라미터 딕셔너리 모델 정의 예시 # # ai_gateway/model_selec