Kubernetes용 GitLab 에이전트를 사용할 때 문제 해결이 필요한 상황이 발생할 수 있습니다.

먼저 서비스 로그를 확인할 수 있습니다:

kubectl logs -f -l=app.kubernetes.io/name=gitlab-agent -n gitlab-agent

GitLab 관리자라면 Kubernetes용 GitLab 에이전트 서버 로그도 확인할 수 있습니다.

Transport: WebSocket dial 중 오류 발생#

{
  "level": "warn",
  "time": "2020-11-04T10:14:39.368Z",
  "msg": "GetConfiguration failed",
  "error": "rpc error: code = Unavailable desc = connection error: desc = \"transport: Error while dialing failed to WebSocket dial: failed to send handshake request: Get \\\"https://gitlab-kas:443/-/kubernetes-agent\\\": dial tcp: lookup gitlab-kas on 10.60.0.10:53: no such host\""
}

이 오류는 kas-address와 에이전트 pod 사이에 연결 문제가 있을 때 발생합니다. 이 문제를 해결하려면 kas-address가 정확한지 확인합니다.

{
  "level": "error",
  "time": "2021-06-25T21:15:45.335Z",
  "msg": "Reverse tunnel",
  "mod_name": "reverse_tunnel",
  "error": "Connect(): rpc error: code = Unavailable desc = connection error: desc= \"transport: Error while dialing failed to WebSocket dial: expected handshake response status code 101 but got 301\""
}

이 오류는 kas-address 끝에 슬래시가 없을 때 발생합니다. 이 문제를 해결하려면 wss 또는 ws URL 이 wss://GitLab.host.tld:443/-/kubernetes-agent/ 나 ws://GitLab.host.tld:80/-/kubernetes-agent/처럼 슬래시로 끝나는지 확인합니다.

WebSocket dial 실패: handshake 요청 전송 실패#

{
  "level": "warn",
  "time": "2020-10-30T09:50:51.173Z",
  "msg": "GetConfiguration failed",
  "error": "rpc error: code = Unavailable desc = connection error: desc = \"transport: Error while dialing failed to WebSocket dial: failed to send handshake request: Get \\\"https://GitLabhost.tld:443/-/kubernetes-agent\\\": net/http: HTTP/1.x transport connection broken: malformed HTTP response \\\"\\\\x00\\\\x00\\\\x06\\\\x04\\\\x00\\\\x00\\\\x00\\\\x00\\\\x00\\\\x00\\\\x05\\\\x00\\\\x00@\\\\x00\\\"\""
}

이 오류는 에이전트 쪽 kas-address를 wss로 구성했지만 에이전트 서버가 wss로 제공되지 않을 때 발생합니다. 이 문제를 해결하려면 양쪽에 같은 스킴을 구성했는지 확인합니다.

grpc-encoding용 Decompressor가 설치되지 않음#

{
  "level": "warn",
  "time": "2020-11-05T05:25:46.916Z",
  "msg": "GetConfiguration.Recv failed",
  "error": "rpc error: code = Unimplemented desc = grpc: Decompressor is not installed for grpc-encoding \"gzip\""
}

이 오류는 에이전트 버전이 에이전트 서버(KAS) 버전보다 최신일 때 발생합니다. 이 문제를 해결하려면 agentk와 에이전트 서버의 버전을 같게 맞춥니다.

알 수 없는 인증 기관이 서명한 인증서#

{
  "level": "error",
  "time": "2021-02-25T07:22:37.158Z",
  "msg": "Reverse tunnel",
  "mod_name": "reverse_tunnel",
  "error": "Connect(): rpc error: code = Unavailable desc = connection error: desc = \"transport: Error while dialing failed to WebSocket dial: failed to send handshake request: Get \\\"https://GitLabhost.tld:443/-/kubernetes-agent/\\\": x509: certificate signed by unknown authority\""
}

이 오류는 GitLab 인스턴스가 에이전트에 알려지지 않은 내부 인증 기관이 서명한 인증서를 사용할 때 발생합니다.

이 문제를 해결하려면 Helm 설치를 사용자 지정해 CA 인증서 파일을 에이전트에 전달할 수 있습니다. helm install 명령에 --set-file config.kasCaCert=my-custom-ca.pem을 추가합니다. 이 파일은 유효한 PEM 또는 DER 인코딩 인증서여야 합니다.

config.kasCaCert 값을 설정해 agentk를 배포하면 인증서가 configmap에 추가되고 인증서 파일이 /etc/ssl/certs에 마운트됩니다.

예를 들어 kubectl get configmap -lapp=gitlab-agent -o yaml 명령을 실행하면 다음과 같습니다:

apiVersion: v1
items:
- apiVersion: v1
  data:
    ca.crt: |-
      -----BEGIN CERTIFICATE-----
      MIIFmzCCA4OgAwIBAgIUE+FvXfDpJ869UgJitjRX7HHT84cwDQYJKoZIhvcNAQEL
      ...truncated certificate...
      GHZCTQkbQyUwBWJOUyOxW1lro4hWqtP4xLj8Dpq1jfopH72h0qTGkX0XhFGiSaM=
      -----END CERTIFICATE-----
  kind: ConfigMap
  metadata:
    annotations:
      meta.helm.sh/release-name: self-signed
      meta.helm.sh/release-namespace: gitlab-agent-self-signed
    creationTimestamp: "2023-03-07T20:12:26Z"
    labels:
      app: gitlab-agent
      app.kubernetes.io/managed-by: Helm
      app.kubernetes.io/name: gitlab-agent
      app.kubernetes.io/version: v15.9.0
      helm.sh/chart: gitlab-agent-1.11.0
    name: self-signed-gitlab-agent
    resourceVersion: "263184207"
kind: List

GitLab 애플리케이션 서버의 에이전트 서버(KAS) 로그에서도 비슷한 오류가 보일 수 있습니다:

{"level":"error","time":"2023-03-07T20:19:48.151Z","msg":"AgentInfo()","grpc_service":"gitlab.agent.agent_configuration.rpc.AgentConfiguration","grpc_method":"GetConfiguration","error":"Get \"https://gitlab.example.com/api/v4/internal/kubernetes/agent_info\": x509: certificate signed by unknown authority"}

이 문제를 해결하려면 /etc/gitlab/trusted-certs 디렉터리에 내부 CA의 공개 인증서를 설치합니다.

또는 에이전트 서버(KAS)가 사용자 지정 디렉터리에서 인증서를 읽도록 구성할 수 있습니다. /etc/gitlab/gitlab.rb에 다음 구성을 추가합니다:

gitlab_kas['env'] = {
   'SSL_CERT_DIR' => "/opt/gitlab/embedded/ssl/certs/"
 }

변경 사항을 적용하려면:

1. GitLab을 재구성합니다.

   sudo gitlab-ctl reconfigure
   

2. gitlab-kas를 재시작합니다.

   gitlab-ctl restart gitlab-kas
   

오류: Failed to register agent pod#

에이전트 pod 로그에 Failed to register agent pod. Please make sure the agent version matches the server version 오류 메시지가 표시될 수 있습니다.

이 문제를 해결하려면 에이전트 버전이 GitLab 버전과 일치하는지 확인합니다.

버전이 일치하는데도 오류가 계속된다면:

1. gitlab-ctl status gitlab-kas로 gitlab-kas가 실행 중인지 확인합니다.
2. gitlab-kas 로그를 확인해 에이전트가 정상 동작하는지 점검합니다.

워크로드 취약점 스캔 실패: jobs.batch가 이미 존재함#

{
  "level": "error",
  "time": "2022-06-22T21:03:04.769Z",
  "msg": "Failed to perform vulnerability scan on workload",
  "mod_name": "starboard_vulnerability",
  "error": "running scan job: creating job: jobs.batch \"scan-vulnerabilityreport-b8d497769\" already exists"
}

Kubernetes용 GitLab 에이전트는 워크로드마다 스캔 job을 생성해 취약점 스캔을 수행합니다. 스캔이 중단되면 이 job 들이 남아 있을 수 있으며, 다른 job을 실행하기 전에 정리해야 합니다. 다음 명령으로 이 job 들을 정리할 수 있습니다:

kubectl delete jobs -l app.kubernetes.io/managed-by=starboard -n gitlab-agent

이 job 들의 정리를 더 견고하게 만드는 작업이 진행 중입니다.

설치 중 파싱 오류#

에이전트를 설치할 때 다음과 같은 오류가 발생할 수 있습니다:

Error: parse error at (gitlab-agent/templates/observability-secret.yaml:1): unclosed action

이 오류는 대개 호환되지 않는 Helm 버전 때문에 발생합니다. 이 문제를 해결하려면 Kubernetes 버전과 호환되는 Helm 버전을 사용하고 있는지 확인합니다.

Kubernetes 대시보드에서 GitLab Agent Server: Unauthorized 오류#

Kubernetes 대시보드 페이지에서 나타나는 GitLab Agent Server: Unauthorized. Trace ID: <...> 같은 오류는 다음 중 하나가 원인일 수 있습니다:

• 에이전트 구성 파일의 user_access 항목이 없거나 잘못되었습니다. 해결 방법은 사용자에게 Kubernetes 접근 권한 부여를 참고합니다.

• 브라우저에 _gitlab_kas 쿠키가 여러 개 있고 KAS로 함께 전송됩니다. 가장 흔한 원인은 같은 사이트에 여러 GitLab 인스턴스가 호스팅된 경우입니다.

  예를 들어 gitlab.com 이 kas.gitlab.com을 대상으로 _gitlab_kas 쿠키를 설정했는데, 그 쿠키가 kas.staging.gitlab.com으로도 전송되어 staging.gitlab.com에서 오류가 발생합니다.

  임시로 해결하려면 브라우저 쿠키 저장소에서 gitlab.com의 _gitlab_kas 쿠키를 삭제합니다. 이슈 418998에서 이 알려진 문제의 수정안을 제안하고 있습니다.

• GitLab과 KAS가 서로 다른 사이트에서 실행됩니다. 예를 들어 GitLab은 gitlab.example.com, KAS는 kas.example.com 인 경우입니다. GitLab은 이 사용 사례를 지원하지 않습니다. 자세한 내용은 이슈 416436을 참고합니다.

에이전트 버전 불일치#

GitLab의 Kubernetes 클러스터 페이지 Agent 탭에서 Agent version mismatch: The agent versions do not match each other across your cluster's pods. 경고가 표시될 수 있습니다.

이 경고는 Kubernetes용 에이전트 서버(kas)가 이전 버전의 에이전트를 캐시하고 있을 때 나타날 수 있습니다. kas는 오래된 에이전트 버전을 주기적으로 삭제하므로, 에이전트와 GitLab 이 정합을 맞출 때까지 최소 20분을 기다립니다.

경고가 계속되면 클러스터에 설치된 에이전트를 업데이트합니다.

Kubernetes API 프록시 응답 헤더가 손실되거나 차단됨#

Kubernetes 클러스터에서 Kubernetes API 프록시를 거쳐 사용자에게 전달되는 HTTP 응답 헤더가 차단될 수 있습니다.

이 오류는 응답 헤더가 KAS의 기본 허용 목록에 없을 때 주로 발생합니다.

이 문제를 해결하는 절차는 차단된 응답 헤더를 참고합니다.