InfoGrab DocsInfoGrab Docs

GitLab 관리형 AI Gateway

공급업체 언어 모델을 사용하는 기본 GitLab 관리형 AI Gateway에 대해 설명합니다.

AI Gateway는 AI 네이티브 GitLab Duo 기능에 대한 액세스를 제공하는 독립형 서비스입니다. GitLab은 클라우드에 기반한 AI Gateway 인스턴스를 운영합니다. 이 인스턴스는 GitLab.com, GitLab Self-Managed , GitLab Dedicated에서 사용됩니다. GitLab Self-Managed에서 자체 AI Gateway를 사용하려면 자체 호스팅 AI Gateway 를 참고합니다. 지역 지원 # GitLab.com # GitLab.com의 경우 라우팅 메커니즘은 사용자의 인스턴스 위치가 아닌 GitLab 인스턴스 위치를 기반으로 합니다. GitLab.com은 us-east1 에 단일 호스팅되어 있으므로 AI Gateway에 대한 요청은 거의 모든 경우에 us-east4 로 라우팅됩니다. 라우팅이 항상 모든 사용자에게 절대적으로 가장 가까운 배포를 제공하지는 않을 수 있습니다. GitLab Self-Managed 및 GitLab Dedicated # GitLab Self-Managed 및 GitLab Dedicated의 경우 GitLab이 지역 선택을 관리합니다. AI Gateway의 배포 지역을 선택할 수 없습니다. 자세한 내용은 Runway 서비스 매니페스트의 사용 가능한 지역 을 참조하십시오. Runway는 GitLab 내부 개발자 플랫폼이며 외부 고객에게는 제공되지 않습니다. 자동 데이터 라우팅 # GitLab은 Cloudflare와 Google Cloud Platform(GCP) 로드 밸런서를 사용하여 AI 게이트웨이 요청을 자동으로 가장 가까운 사용 가능한 배포로 라우팅합니다. 이 라우팅 메커니즘은 낮은 지연 시간과 효율적인 사용자 요청 처리를 우선시합니다. 이 라우팅 프로세스를 수동으로 제어할 수 없습니다. 다음 요소가 데이터가 라우팅되는 위치에 영향을 미칩니다: 네트워크 지연 시간: 기본 라우팅 메커니즘은 지연 시간 최소화에 중점을 둡니다. 네트워크 조건이 요구되면 데이터가 가장 가까운 지역 이외의 지역에서 처리될 수 있습니다. 서비스 가용성: 지역 중단 또는 서비스 장애의 경우 중단 없는 서비스를 보장하기 위해 요청이 자동으로 재라우팅될 수 있습니다. 타사 종속성: GitLab AI 인프라는 자체 데이터 처리 관행을 가진 Gemini Enterprise Agent Platform과 같은 타사 모델 공급업체에 의존합니다. 직접 및 간접 연결 # IDE는 기본적으로 GitLab 모놀리스를 우회하여 AI Gateway와 직접 통신합니다. 이 직접 연결은 라우팅 효율성을 향상시킵니다. 이 동작을 변경하려면 코드 제안에 대한 직접 및 간접 연결 을 구성합니다. 특정 지역으로의 요청 추적 # AI 요청을 특정 지역으로 직접 추적할 수 없습니다. 특정 요청 추적에 도움이 필요한 경우 GitLab 지원은 Cloudflare 헤더와 인스턴스 UUID가 포함된 로그에 액세스하고 분석할 수 있습니다. 이러한 로그는 라우팅 경로에 대한 통찰력을 제공하고 요청이 처리된 지역을 식별하는 데 도움이 됩니다