셀프 호스팅 모델을 사용하도록 GitLab 구성

셀프 호스팅 모델을 GitLab 인스턴스와 통합하는 방법을 알아봅니다.

히스토리 GitLab 17.1에서 ai_custom_model 이라는 플래그 와 함께 도입 되었습니다. 기본적으로 비활성화됩니다. GitLab 17.6에서 GitLab Self-Managed에서 활성화 되었습니다. GitLab 17.6 이상에서 GitLab Duo 애드온이 필요하도록 변경되었습니다. GitLab 17.8에서 피처 플래그 ai_custom_model 이 제거되었습니다. GitLab 17.9에서 UI를 사용하여 AI Gateway URL 설정 기능이 추가 되었습니다. GitLab 17.9에서 일반적으로 사용 가능합니다. GitLab 18.0에서 Premium을 포함하도록 변경되었습니다. 사전 요구사항: GitLab을 버전 17.9 이상으로 업그레이드 합니다. 관리자여야 합니다. 인프라에서 셀프 호스팅 모델에 접근하도록 GitLab 인스턴스를 구성하려면: AI Gateway에 접근하도록 GitLab 인스턴스를 구성합니다. GitLab 18.4 이상에서 GitLab Duo Agent Platform 서비스에 접근하도록 GitLab 인스턴스를 구성합니다. GitLab 인스턴스에 셀프 호스팅 모델을 추가합니다. 기능에 대한 셀프 호스팅 모델을 선택합니다. 로컬 AI Gateway에 대한 접근 구성 # GitLab 인스턴스와 로컬 AI Gateway 간의 접근을 구성하려면: 오른쪽 상단 모서리에서 Admin 을 선택합니다. 왼쪽 사이드바에서 GitLab Duo 를 선택합니다. Change configuration 을 선택합니다. Local AI Gateway URL 아래에 AI Gateway URL을 입력합니다. Save changes 를 선택합니다. Note AI Gateway URL이 로컬 네트워크 또는 사설 IP 주소(예: 172.31.x.x 또는 ip-172-xx-xx-xx.region.compute.internal 과 같은 내부 호스트 이름)를 가리키는 경우 GitLab은 보안상의 이유로 요청을 차단할 수 있습니다. 이 주소에 대한 요청을 허용하려면 주소를 IP 허용 목록에 추가 합니다. AI Gateway 타임아웃 구성 # 히스토리 GitLab 18.7에서 도입 되었습니다. 리소스를 보존하고 장기 실행 쿼리를 방지하기 위해 모델 응답을 기다릴 때 AI Gateway에 대한 GitLab 요청의 타임아웃을 구성합니다. 큰 컨텍스트 윈도우 또는 복잡한 쿼리가 있는 셀프 호스팅 모델에는 더 긴 타임아웃을 사용합니다. 60초에서 600초(10분) 사이의 타임아웃을 구성할 수 있습니다. 타임아웃을 설정하지 않으면 GitLab은 기본 타임아웃인 60초를 사용합니다. AI Gateway 타임아웃을 구성하려면: 오른쪽 상단 모서리에서 Admin 을 선택합니다. 왼쪽 사이드바에서 GitLab Duo 를 선택합니다. Change configuration 을 선택합니다. AI Gateway request timeout 아래에 타임아웃 값을 초 단위로 입력합니다(60에서 600 사이). Save changes 를 선택합니다. 타임아웃 값 결정 #