AI Gateway

AI Gateway에 대해 설명합니다.

AI Gateway는 AI 네이티브 GitLab Duo 기능에 대한 액세스를 제공하는 독립형 서비스입니다. GitLab은 클라우드에 기반한 AI Gateway 인스턴스를 운영합니다. 이 인스턴스는 GitLab.com, GitLab Self-Managed , GitLab Dedicated에서 사용됩니다. GitLab Duo Self-Hosted 를 통해 GitLab Self-Managed에서 자체 호스팅 AI Gateway 인스턴스를 사용할 수도 있습니다. 지역 지원 # GitLab.com # GitLab.com의 경우 라우팅 메커니즘은 사용자의 인스턴스 위치가 아닌 GitLab 인스턴스 위치를 기반으로 합니다. GitLab.com은 us-east1 에 단일 호스팅되어 있으므로 AI Gateway에 대한 요청은 거의 모든 경우에 us-east4 로 라우팅됩니다. 라우팅이 항상 모든 사용자에게 절대적으로 가장 가까운 배포를 제공하지는 않을 수 있습니다. GitLab Self-Managed 및 GitLab Dedicated # GitLab Self-Managed 및 GitLab Dedicated의 경우 GitLab이 지역 선택을 관리합니다. AI Gateway의 배포 지역을 선택할 수 없습니다. 자세한 내용은 Runway 서비스 매니페스트의 사용 가능한 지역 을 참조하십시오. Runway는 GitLab 내부 개발자 플랫폼이며 외부 고객에게는 제공되지 않습니다. 자동 데이터 라우팅 # GitLab은 Cloudflare와 Google Cloud Platform(GCP) 로드 밸런서를 사용하여 AI 게이트웨이 요청을 자동으로 가장 가까운 사용 가능한 배포로 라우팅합니다. 이 라우팅 메커니즘은 낮은 지연 시간과 효율적인 사용자 요청 처리를 우선시합니다. 이 라우팅 프로세스를 수동으로 제어할 수 없습니다. 다음 요소가 데이터가 라우팅되는 위치에 영향을 미칩니다: 네트워크 지연 시간: 기본 라우팅 메커니즘은 지연 시간 최소화에 중점을 둡니다. 네트워크 조건이 요구되면 데이터가 가장 가까운 지역 이외의 지역에서 처리될 수 있습니다. 서비스 가용성: 지역 중단 또는 서비스 장애의 경우 중단 없는 서비스를 보장하기 위해 요청이 자동으로 재라우팅될 수 있습니다. 타사 종속성: GitLab AI 인프라는 자체 데이터 처리 관행을 가진 Google Vertex AI와 같은 타사 모델 공급업체에 의존합니다. 직접 및 간접 연결 # IDE는 기본적으로 GitLab 모놀리스를 우회하여 AI Gateway와 직접 통신합니다. 이 직접 연결은 라우팅 효율성을 향상시킵니다. 이 동작을 변경하려면 코드 제안에 대한 직접 및 간접 연결 을 구성합니다. 특정 지역으로의 요청 추적 # AI 요청을 특정 지역으로 직접 추적할 수 없습니다. 특정 요청 추적에 도움이 필요한 경우 GitLab 지원은 Cloudflare 헤더와 인스턴스 UUID가 포함된 로그에 액세스하고 분석할 수 있습니다. 이러한 로그는 라우팅 경로에 대한 통찰력을 제공하고 요청이 처리된 지역을 식별하는 데 도움이 됩니