오프라인 환경에 GitLab Duo Agent Platform Self-Hosted 배포

인터넷 접근이 차단된 오프라인 환경에서 GitLab Duo Agent Platform Self-Hosted를 배포하는 방법을 설명합니다.

히스토리 GitLab 17.9에서 셀프 호스팅 모델 지원이 일반적으로 사용 가능 해졌습니다. GitLab 18.9에서 오프라인 플로 실행 지원이 도입 됐습니다. Note 오프라인 환경을 구성하려면 구매 전에 클라우드 라이선스 옵트아웃 면제 를 받아야 합니다. 자세한 내용은 GitLab 영업 담당자에게 문의합니다. GitLab 인스턴스와 러너가 공용 인터넷에 접근할 수 없는 오프라인 환경에도 GitLab Duo Agent Platform Self-Hosted를 배포할 수 있습니다. 이 지침은 연결이 제한적이거나 방화벽 정책이 엄격한 환경에도 적용됩니다. 오프라인 환경에서는 AI Gateway 컨테이너 이미지, LLM 모델 가중치, vLLM 추론 서버 이미지, Agent Platform Flows 실행기 이미지를 내부 인프라로 직접 전송해야 합니다. 오프라인 환경에 Agent Platform을 배포하려면 다음 단계를 수행합니다. 컨테이너 이미지를 내부 레지스트리로 전송합니다. LLM 모델 가중치를 오프라인 파일 시스템으로 전송합니다. AI Gateway를 시작합니다. vLLM을 시작합니다. GitLab Admin에서 AI Gateway를 구성합니다. 셀프 호스팅 모델을 추가합니다. 오프라인 플로 실행을 구성합니다. 배포를 확인합니다. 사전 요구 사항 # 오프라인 클라우드 라이선스 가 적용된 GitLab 18.9 이상. 아티팩트를 내려받을 인터넷 연결이 있는 머신. 연결된 머신과 오프라인 호스트에 설치된 skopeo 와 jq (Red Hat 계열 시스템에서는 dnf install --assumeyes skopeo jq 명령을 사용합니다). 오프라인 환경으로 파일을 전송할 방법 (물리 매체, 크로스 도메인 솔루션, 배스천 호스트). 오프라인 환경의 컨테이너 레지스트리. 예를 들어 GitLab 컨테이너 레지스트리 , Harbor, Nexus가 있습니다. vLLM의 경우: 추론 호스트에 NVIDIA GPU 드라이버, CUDA 라이브러리, NVIDIA Container Toolkit 을 설치합니다. 오프라인 설치 옵션은 NVIDIA CUDA 설치 가이드 를 참고합니다. Note 이 페이지의 모든 명령은 Docker와 Podman에서 모두 동작합니다. 해당하는 경우 docker 를 podman 으로 바꿉니다. 필수 아티팩트 # LLM 모델 가중치를 제외한 모든 아티팩트는 OCI 컨테이너 이미지입니다. GitLab 인스턴스 자체가 실행하는 컨테이너 이미지는 별도로 전송합니다. 자세한 내용은 오프라인 GitLab 을 참고합니다. 컨테이너 이미지 # 아티팩트 소스 레지스트리 태그 형식 대략적인 압축 크기 AI Gateway registry.gitlab.com/gitlab-org/modelops/applied-ml/code-suggestions/ai-assist/model-gateway self-hosted-vX.Y.Z-ee 0.6 GiB Agent Platform Flows 실행기 registry.gitlab.com/gitlab-org/duo-workflo