오프라인 환경에 GitLab Duo Agent Platform Self-Hosted 배포

인터넷 접근이 차단된 오프라인 환경에서 GitLab Duo Agent Platform Self-Hosted를 배포하는 방법을 설명합니다.

히스토리 GitLab 17.9에서 셀프 호스팅 모델 지원이 일반적으로 사용 가능 해짐. GitLab 18.9에서 오프라인 플로우 실행 지원이 도입됨 . 오프라인 환경을 설정하려면 구매 전에 클라우드 라이선스 옵트아웃 면제 를 받아야 합니다. 자세한 내용은 GitLab 영업 담당자에게 문의하세요. GitLab 인스턴스와 러너가 공용 인터넷에 접근할 수 없는 오프라인 환경에 GitLab Duo Agent Platform Self-Hosted를 배포할 수 있습니다. 이 지침은 연결이 제한되거나 방화벽 정책이 엄격한 환경에도 적용됩니다. 오프라인 환경에서는 AI Gateway 컨테이너 이미지, LLM 모델 가중치, vLLM 추론 서버 이미지, Agent Platform Flows 실행기 이미지를 내부 인프라로 수동으로 전송해야 합니다. 오프라인 환경에 Agent Platform을 배포하려면 다음 단계를 완료하세요: 컨테이너 이미지를 내부 레지스트리로 전송 LLM 모델 가중치를 오프라인 파일시스템으로 전송 AI Gateway 시작 vLLM 시작 GitLab 관리자에서 AI Gateway 구성 셀프 호스팅 모델 추가 오프라인 플로우 실행 구성 배포 확인 사전 요구 사항 # 오프라인 클라우드 라이선스 가 있는 GitLab 18.9 이상. 아티팩트를 다운로드할 인터넷 연결이 있는 머신. 연결된 머신과 오프라인 호스트에 skopeo 와 jq 가 설치되어 있어야 합니다 (Red Hat 시스템의 경우 dnf install --assumeyes skopeo jq ). 오프라인 환경으로 파일을 전송하는 방법(물리적 미디어, 크로스 도메인 솔루션, 또는 배스천 호스트). 오프라인 환경의 컨테이너 레지스트리. 예를 들어 GitLab 컨테이너 레지스트리 , Harbor, 또는 Nexus. vLLM의 경우: 추론 호스트에 NVIDIA GPU 드라이버, CUDA 라이브러리, NVIDIA Container Toolkit 이 설치되어 있어야 합니다. 오프라인 설치 옵션은 NVIDIA CUDA 설치 가이드 를 참조하세요. 이 페이지의 모든 명령어는 Docker와 Podman 모두에서 작동합니다. 해당하는 경우 docker 를 podman 으로 바꾸세요. 필수 아티팩트 # LLM 모델 가중치를 제외한 모든 아티팩트는 OCI 컨테이너 이미지입니다. 컨테이너 이미지 # 아티팩트 소스 레지스트리 태그 형식 대략적인 크기 AI Gateway registry.gitlab.com/gitlab-org/modelops/applied-ml/code-suggestions/ai-assist/model-gateway self-hosted-vX.Y.Z-ee 340 MB Agent Platform Flows 실행기 registry.gitlab.com/gitlab-org/duo-workflow/default-docker-image/workflow-generic-image vX.Y.Z 2-3 GB vLLM 추론 서버 docker.io/vllm/vllm-openai vX.Y.Z (v0.18.1 이상) 2-