API 퍼징 동작은 CI/CD 변수를 통해 변경할 수 있습니다.

API 퍼징 구성 파일은 리포지터리의 .gitlab 디렉터리에 있어야 합니다.

인증#

인증은 인증 토큰을 헤더 또는 쿠키로 제공하여 처리됩니다. 인증 흐름을 수행하거나 토큰을 계산하는 스크립트를 제공할 수 있습니다.

HTTP 기본 인증#

HTTP 기본 인증은 HTTP 프로토콜에 내장된 인증 방법으로 전송 계층 보안(TLS)과 함께 사용됩니다.

비밀번호에 대한 CI/CD 변수 생성(예: TEST_API_PASSWORD)을 권장하며, 마스킹으로 설정하세요. CI/CD 변수는 설정 > CI/CD의 변수 섹션에서 GitLab 프로젝트 페이지에서 생성할 수 있습니다. 마스킹된 변수의 제한 사항으로 인해 변수로 추가하기 전에 비밀번호를 Base64 인코딩해야 합니다.

마지막으로 .gitlab-ci.yml 파일에 두 가지 CI/CD 변수를 추가합니다:

• FUZZAPI_HTTP_USERNAME: 인증을 위한 사용자 이름.
• FUZZAPI_HTTP_PASSWORD_BASE64: 인증을 위한 Base64 인코딩된 비밀번호.

stages:
    - fuzz

include:
  - template: API-Fuzzing.gitlab-ci.yml

variables:
  FUZZAPI_PROFILE: Quick-10
  FUZZAPI_HAR: test-api-recording.har
  FUZZAPI_TARGET_URL: http://test-deployment/
  FUZZAPI_HTTP_USERNAME: testuser
  FUZZAPI_HTTP_PASSWORD_BASE64: $TEST_API_PASSWORD

원시 비밀번호#

비밀번호를 Base64 인코딩하지 않으려면(또는 GitLab 15.3 이하를 사용하는 경우) FUZZAPI_HTTP_PASSWORD_BASE64 대신 원시 비밀번호 FUZZAPI_HTTP_PASSWORD를 제공할 수 있습니다.

Bearer 토큰#

Bearer 토큰은 OAuth2 및 JSON Web Tokens(JWT)를 포함한 여러 다양한 인증 메커니즘에서 사용됩니다. Bearer 토큰은 Authorization HTTP 헤더를 사용하여 전송됩니다. API 퍼징에서 bearer 토큰을 사용하려면 다음 중 하나가 필요합니다:

• 만료되지 않는 토큰
• 테스트 기간 동안 지속되는 토큰 생성 방법
• API 퍼징이 토큰을 생성하도록 호출할 수 있는 Python 스크립트

토큰이 만료되지 않는 경우#

bearer 토큰이 만료되지 않으면 FUZZAPI_OVERRIDES_ENV 변수를 사용하여 제공합니다. 이 변수의 내용은 API 퍼징의 발신 HTTP 요청에 추가할 헤더와 쿠키를 제공하는 JSON 스니펫입니다.

FUZZAPI_OVERRIDES_ENV로 bearer 토큰을 제공하려면 다음 단계를 따르세요:

1. CI/CD 변수를 생성합니다. 예를 들어 TEST_API_BEARERAUTH로 값을 {"headers":{"Authorization":"Bearer dXNlcm5hbWU6cGFzc3dvcmQ="}} (토큰을 대체)로 설정합니다. CI/CD 변수는 설정 > CI/CD의 변수 섹션에서 GitLab 프로젝트 페이지에서 생성할 수 있습니다.

2. .gitlab-ci.yml 파일에서 FUZZAPI_OVERRIDES_ENV를 방금 생성한 변수로 설정합니다:

   stages:
     - fuzz
   
   include:
     - template: API-Fuzzing.gitlab-ci.yml
   
   variables:
     FUZZAPI_PROFILE: Quick-10
     FUZZAPI_OPENAPI: test-api-specification.json
     FUZZAPI_TARGET_URL: http://test-deployment/
     FUZZAPI_OVERRIDES_ENV: $TEST_API_BEARERAUTH
   

3. 인증이 작동하는지 확인하려면 API 퍼징 테스트를 실행하고 퍼징 로그와 테스트 API 애플리케이션 로그를 검토합니다. 재정의 명령에 대한 자세한 내용은 재정의 섹션을 참조하세요.

테스트 런타임에 생성된 토큰#

bearer 토큰이 생성되어야 하고 테스트 중에 만료되지 않는 경우 토큰이 포함된 파일을 API 퍼징에 제공할 수 있습니다. 이전 스테이지 및 job 또는 API 퍼징 job의 일부가 이 파일을 생성할 수 있습니다.

API 퍼징은 다음 구조의 JSON 파일을 받을 것을 기대합니다:

{
  "headers" : {
    "Authorization" : "Bearer dXNlcm5hbWU6cGFzc3dvcmQ="
  }
}

이 파일은 이전 스테이지에 의해 생성되어 FUZZAPI_OVERRIDES_FILE CI/CD 변수를 통해 API 퍼징에 제공될 수 있습니다.

.gitlab-ci.yml 파일에 FUZZAPI_OVERRIDES_FILE을 설정합니다:

stages:
     - fuzz

include:
  - template: API-Fuzzing.gitlab-ci.yml

variables:
  FUZZAPI_PROFILE: Quick
  FUZZAPI_OPENAPI: test-api-specification.json
  FUZZAPI_TARGET_URL: http://test-deployment/
  FUZZAPI_OVERRIDES_FILE: api-fuzzing-overrides.json

인증이 작동하는지 확인하려면 API 퍼징 테스트를 실행하고 퍼징 로그와 테스트 API 애플리케이션 로그를 검토합니다.

토큰이 짧은 만료를 가지는 경우#

bearer 토큰이 생성되어야 하고 스캔이 완료되기 전에 만료되는 경우 API 퍼저가 제공된 간격으로 실행할 프로그램 또는 스크립트를 제공할 수 있습니다. 제공된 스크립트는 Python 3과 Bash가 설치된 Alpine Linux 컨테이너에서 실행됩니다. Python 스크립트에 추가 패키지가 필요한 경우 이를 감지하고 런타임에 패키지를 설치해야 합니다.

스크립트는 특정 형식으로 bearer 토큰을 포함하는 JSON 파일을 생성해야 합니다:

{
  "headers" : {
    "Authorization" : "Bearer dXNlcm5hbWU6cGFzc3dvcmQ="
  }
}

올바른 작동을 위해 각각 설정된 세 가지 CI/CD 변수를 제공해야 합니다:

• FUZZAPI_OVERRIDES_FILE: 제공된 명령이 생성하는 JSON 파일.
• FUZZAPI_OVERRIDES_CMD: JSON 파일을 생성하는 명령.
• FUZZAPI_OVERRIDES_INTERVAL: 명령을 실행할 간격(초 단위).

예:

stages:
     - fuzz

include:
  - template: API-Fuzzing.gitlab-ci.yml

variables:
  FUZZAPI_PROFILE: Quick-10
  FUZZAPI_OPENAPI: test-api-specification.json
  FUZZAPI_TARGET_URL: http://test-deployment/
  FUZZAPI_OVERRIDES_FILE: api-fuzzing-overrides.json
  FUZZAPI_OVERRIDES_CMD: renew_token.py
  FUZZAPI_OVERRIDES_INTERVAL: 300

인증이 작동하는지 확인하려면 API 퍼징 테스트를 실행하고 퍼징 로그와 테스트 API 애플리케이션 로그를 검토합니다.

API 퍼징 프로파일#

GitLab은 구성 파일 gitlab-api-fuzzing-config.yml을 제공합니다. 특정 수의 테스트를 수행하는 여러 테스트 프로파일이 포함되어 있습니다. 각 프로파일의 런타임은 테스트 수가 증가함에 따라 증가합니다.

재정의#

API 퍼징은 요청의 특정 항목을 추가하거나 재정의하는 방법을 제공합니다. 예를 들어:

• 헤더
• 쿠키
• 쿼리 문자열
• 폼 데이터
• JSON 노드
• XML 노드

이를 사용하여 의미 버전 헤더, 인증 등을 삽입할 수 있습니다. 인증 섹션에는 이 목적으로 재정의를 사용하는 예시가 포함되어 있습니다.

재정의는 JSON 문서를 사용하며, 각 재정의 유형은 JSON 객체로 표현됩니다:

{
  "headers": {
    "header1": "value",
    "header2": "value"
  },
  "cookies": {
    "cookie1": "value",
    "cookie2": "value"
  },
  "query":      {
    "query-string1": "value",
    "query-string2": "value"
  },
  "body-form":  {
    "form-param1": "value",
    "form-param2": "value"
  },
  "body-json":  {
    "json-path1": "value",
    "json-path2": "value"
  },
  "body-xml" :  {
    "xpath1":    "value",
    "xpath2":    "value"
  }
}

단일 헤더 설정 예시:

{
  "headers": {
    "Authorization": "Bearer dXNlcm5hbWU6cGFzc3dvcmQ="
  }
}

헤더와 쿠키를 모두 설정하는 예시:

{
  "headers": {
    "Authorization": "Bearer dXNlcm5hbWU6cGFzc3dvcmQ="
  },
  "cookies": {
    "flags": "677"
  }
}

body-form 재정의 설정 사용 예시:

{
  "body-form":  {
    "username": "john.doe"
  }
}

재정의 엔진은 요청 본문에 폼 데이터 내용만 있을 때 body-form을 사용합니다.

body-json 재정의 설정 사용 예시:

{
  "body-json":  {
    "$.credentials.access-token": "iddqd!42.$"
  }
}

body-json 객체의 각 JSON 속성 이름은 JSON 경로 표현식으로 설정됩니다. JSON 경로 표현식 $.credentials.access-token은 값 iddqd!42.$로 재정의할 노드를 식별합니다. 재정의 엔진은 요청 본문에 JSON 내용만 있을 때 body-json을 사용합니다.

예를 들어, 본문이 다음 JSON으로 설정된 경우:

{
    "credentials" : {
        "username" :"john.doe",
        "access-token" : "non-valid-password"
    }
}

다음으로 변경됩니다:

{
    "credentials" : {
        "username" :"john.doe",
        "access-token" : "iddqd!42.$"
    }
}

body-xml 재정의 설정 예시입니다. 첫 번째 항목은 XML 속성을 재정의하고 두 번째 항목은 XML 요소를 재정의합니다:

{
  "body-xml" :  {
    "/credentials/@isEnabled": "true",
    "/credentials/access-token/text()" : "iddqd!42.$"
  }
}

body-xml 객체의 각 JSON 속성 이름은 XPath v2 표현식으로 설정됩니다. XPath 표현식 /credentials/@isEnabled는 값 true로 재정의할 속성 노드를 식별합니다. XPath 표현식 /credentials/access-token/text()는 값 iddqd!42.$로 재정의할 요소 노드를 식별합니다. 재정의 엔진은 요청 본문에 XML 내용만 있을 때 body-xml을 사용합니다.

예를 들어, 본문이 다음 XML로 설정된 경우:

<credentials isEnabled="false">
  <username>john.doe</username>
  <access-token>non-valid-password</access-token>
</credentials>

다음으로 변경됩니다:

<credentials isEnabled="true">
  <username>john.doe</username>
  <access-token>iddqd!42.$</access-token>
</credentials>

이 JSON 문서를 파일 또는 환경 변수로 제공할 수 있습니다. 또한 JSON 문서를 생성하는 명령을 제공할 수도 있습니다. 명령은 만료되는 값을 지원하기 위해 주기적으로 실행될 수 있습니다.

파일 사용#

재정의 JSON을 파일로 제공하려면 FUZZAPI_OVERRIDES_FILE CI/CD 변수를 설정합니다. 경로는 job 현재 작업 디렉터리에 상대적입니다.

다음은 .gitlab-ci.yml 예시입니다:

stages:
     - fuzz

include:
  - template: API-Fuzzing.gitlab-ci.yml

variables:
  FUZZAPI_PROFILE: Quick
  FUZZAPI_OPENAPI: test-api-specification.json
  FUZZAPI_TARGET_URL: http://test-deployment/
  FUZZAPI_OVERRIDES_FILE: api-fuzzing-overrides.json

CI/CD 변수 사용#

재정의 JSON을 CI/CD 변수로 제공하려면 FUZZAPI_OVERRIDES_ENV 변수를 사용합니다. 이렇게 하면 JSON을 마스킹 및 보호할 수 있는 변수로 배치할 수 있습니다.

이 .gitlab-ci.yml 예시에서 FUZZAPI_OVERRIDES_ENV 변수는 JSON으로 직접 설정됩니다:

stages:
     - fuzz

include:
  - template: API-Fuzzing.gitlab-ci.yml

variables:
  FUZZAPI_PROFILE: Quick
  FUZZAPI_OPENAPI: test-api-specification.json
  FUZZAPI_TARGET_URL: http://test-deployment/
  FUZZAPI_OVERRIDES_ENV: '{"headers":{"X-API-Version":"2"}}'

이 .gitlab-ci.yml 예시에서 SECRET_OVERRIDES 변수가 JSON을 제공합니다. 이것은 UI에서 정의된 그룹 또는 인스턴스 수준 CI/CD 변수입니다:

stages:
     - fuzz

include:
  - template: API-Fuzzing.gitlab-ci.yml

variables:
  FUZZAPI_PROFILE: Quick
  FUZZAPI_OPENAPI: test-api-specification.json
  FUZZAPI_TARGET_URL: http://test-deployment/
  FUZZAPI_OVERRIDES_ENV: $SECRET_OVERRIDES

명령 사용#

값이 만료 시 생성되거나 재생성되어야 하는 경우 API 퍼저가 지정된 간격으로 실행할 프로그램 또는 스크립트를 제공할 수 있습니다. 제공된 스크립트는 Python 3과 Bash가 설치된 Alpine Linux 컨테이너에서 실행됩니다.

환경 변수 FUZZAPI_OVERRIDES_CMD를 실행하려는 프로그램 또는 스크립트로 설정해야 합니다. 제공된 명령은 이전에 정의된 대로 재정의 JSON 파일을 생성합니다.

NodeJS나 Ruby와 같은 다른 스크립팅 런타임을 설치하거나 재정의 명령을 위한 의존성을 설치해야 할 수 있습니다. 이 경우 FUZZAPI_PRE_SCRIPT를 이러한 전제 조건을 제공하는 스크립트의 파일 경로로 설정해야 합니다. FUZZAPI_PRE_SCRIPT가 제공하는 스크립트는 분석기가 시작되기 전에 한 번 실행됩니다.

Alpine Linux 패키지 설치에 대한 정보는 Alpine Linux 패키지 관리 페이지를 참조하세요.

올바른 작동을 위해 각각 설정된 세 가지 CI/CD 변수를 제공해야 합니다:

• FUZZAPI_OVERRIDES_FILE: 제공된 명령이 생성하는 파일.
• FUZZAPI_OVERRIDES_CMD: 주기적으로 재정의 JSON 파일을 생성하는 재정의 명령.
• FUZZAPI_OVERRIDES_INTERVAL: 명령을 실행할 초 단위 간격.

선택 사항:

• FUZZAPI_PRE_SCRIPT: 분석기가 시작되기 전에 런타임 또는 의존성을 설치하는 스크립트.

stages:
     - fuzz

include:
  - template: API-Fuzzing.gitlab-ci.yml

variables:
  FUZZAPI_PROFILE: Quick
  FUZZAPI_OPENAPI: test-api-specification.json
  FUZZAPI_TARGET_URL: http://test-deployment/
  FUZZAPI_OVERRIDES_FILE: api-fuzzing-overrides.json
  FUZZAPI_OVERRIDES_CMD: renew_token.py
  FUZZAPI_OVERRIDES_INTERVAL: 300

재정의 디버깅#

기본적으로 재정의 명령의 출력은 숨겨집니다. 재정의 명령이 0이 아닌 종료 코드를 반환하면 명령이 job 출력의 일부로 표시됩니다. 선택적으로 변수 FUZZAPI_OVERRIDES_CMD_VERBOSE를 임의의 값으로 설정하여 재정의 명령 출력이 생성될 때 표시할 수 있습니다. 이는 재정의 스크립트를 테스트할 때 유용하지만, 테스트 속도를 저하시키므로 이후에는 비활성화해야 합니다.

job이 완료되거나 실패할 때 수집되는 로그 파일에 스크립트의 메시지를 기록하는 것도 가능합니다. 로그 파일은 특정 위치에 생성되어야 하며 명명 규칙을 따라야 합니다.

재정의 스크립트에 기본 로깅을 추가하는 것은 일반적인 job 실행 중 스크립트가 예기치 않게 실패하는 경우에 유용합니다. 로그 파일은 job의 아티팩트로 자동 포함되어 job이 완료된 후 다운로드할 수 있습니다.

예시에서 환경 변수 FUZZAPI_OVERRIDES_CMD에 renew_token.py를 제공했습니다. 스크립트에서 두 가지를 주목하세요:

• 로그 파일은 환경 변수 CI_PROJECT_DIR로 표시된 위치에 저장됩니다.
• 로그 파일 이름은 gl-*.log와 일치해야 합니다.

#!/usr/bin/env python

# 재정의 명령 예시

# 재정의 명령은 사용할 새 값으로 재정의 json 파일을
# 업데이트할 수 있습니다. 이것은 테스트 중에 만료될
# 인증 토큰을 업데이트하는 좋은 방법입니다.

import logging
import json
import os
import requests
import backoff

# [1] 환경 변수 CI_PROJECT_DIR로 표시된 디렉터리에 로그 파일 저장
working_directory = os.environ.get( 'CI_PROJECT_DIR')
overrides_file_name = os.environ.get('FUZZAPI_OVERRIDES_FILE', 'api-fuzzing-overrides.json')
overrides_file_path = os.path.join(working_directory, overrides_file_name)

# [2] 파일 이름은 패턴과 일치해야 합니다: gl-*.log
log_file_path = os.path.join(working_directory, 'gl-user-overrides.log')

# 로거 설정
logging.basicConfig(filename=log_file_path, level=logging.DEBUG)

# 일시적 오류의 경우 재시도하기 위해 `backoff` 데코레이터 사용.
@backoff.on_exception(backoff.expo,
                      (requests.exceptions.Timeout,
                       requests.exceptions.ConnectionError),
                       max_time=30)
def get_auth_response():
    authorization_url = 'https://authorization.service/api/get_api_token'
    return requests.get(
        f'{authorization_url}',
        auth=(os.environ.get('AUTH_USER'), os.environ.get('AUTH_PWD'))
    )

# 이 예시에서 액세스 토큰은 주어진 엔드포인트에서 검색됩니다
try:

    # HTTP 요청 수행, 응답 샘플:
    # { "Token" : "abcdefghijklmn" }
    response = get_auth_response()

    # 요청이 성공적인지 확인합니다. `requests.exceptions.HTTPError`를 발생시킬 수 있음
    response.raise_for_status()

    # JSON 데이터 가져오기
    response_body = response.json()

# 필요한 경우 특정 예외를 포착할 수 있습니다
# requests.ConnectionError                  : 네트워크 연결 오류 문제 발생
# requests.HTTPError                        : HTTP 요청이 실패 상태 코드를 반환했습니다. [Response.raise_for_status()]
# requests.ConnectTimeout                   : 원격 서버에 연결하는 동안 요청이 시간 초과됨
# requests.ReadTimeout                      : 할당된 시간 내에 서버가 데이터를 보내지 않음.
# requests.TooManyRedirects                 : 요청이 구성된 최대 리디렉션 수를 초과함
# requests.exceptions.RequestException      : Requests와 관련된 모든 예외
except json.JSONDecodeError as json_decode_error:
    # JSON 응답 디코딩 관련 오류 기록
    logging.error(f'오류, JSON 응답 디코딩 중 실패. 오류 메시지: {json_decode_error}')
    raise
except requests.exceptions.RequestException as requests_error:
    # `Requests`와 관련된 예외 기록
    logging.error(f'오류, HTTP 요청 수행 중 실패. 오류 메시지: {requests_error}')
    raise
except Exception as e:
    # 다른 오류 기록
    logging.error(f'오류, 액세스 토큰 검색 중 알 수 없는 오류. 오류 메시지: {e}')
    raise

# 재정의 파일 내용을 보유하는 객체 계산.
# 요청에서 가져온 데이터를 사용함
overrides_data = {
    "headers": {
        "Authorization": f"Token {response_body['Token']}"
    }
}

# 파일 재정의 계산에 대한 로그 항목
logging.info("재정의 파일 생성 중: %s" % overrides_file_path)

# 파일 덮어쓰기 시도
try:
    if os.path.exists(overrides_file_path):
        os.unlink(overrides_file_path)

    # 업데이트된 딕셔너리로 파일 덮어쓰기
    with open(overrides_file_path, "wb+") as fd:
        fd.write(json.dumps(overrides_data).encode('utf-8'))
except Exception as e:
    # 다른 오류 기록
    logging.error(f'오류, 파일 {overrides_file_path} 덮어쓰기 중 알 수 없는 오류. 오류 메시지: {e}')
    raise

# 재정의가 성공적으로 완료되었다고 알리는 로그
logging.info("재정의 파일이 업데이트되었습니다")

# 종료

재정의 명령 예시에서 Python 스크립트는 backoff 라이브러리에 의존합니다. Python 스크립트를 실행하기 전에 라이브러리가 설치되어 있는지 확인하려면 FUZZAPI_PRE_SCRIPT를 재정의 명령의 의존성을 설치하는 스크립트로 설정합니다. 예를 들어, 다음 스크립트 user-pre-scan-set-up.sh를 사용합니다:

#!/bin/bash

# user-pre-scan-set-up.sh
# python 의존성이 설치되어 있는지 확인

echo "**** python 의존성 설치 ****"

sudo pip3 install --no-cache --upgrade --break-system-packages \
    requests \
    backoff

echo "**** python 의존성 설치 완료 ****"

# 종료

새 user-pre-scan-set-up.sh 스크립트로 FUZZAPI_PRE_SCRIPT를 설정하도록 구성을 업데이트해야 합니다. 예:

stages:
     - fuzz

include:
  - template: API-Fuzzing.gitlab-ci.yml

variables:
  FUZZAPI_PROFILE: Quick
  FUZZAPI_OPENAPI: test-api-specification.json
  FUZZAPI_TARGET_URL: http://test-deployment/
  FUZZAPI_PRE_SCRIPT: user-pre-scan-set-up.sh
  FUZZAPI_OVERRIDES_FILE: api-fuzzing-overrides.json
  FUZZAPI_OVERRIDES_CMD: renew_token.py
  FUZZAPI_OVERRIDES_INTERVAL: 300

이전 샘플에서 user-pre-scan-set-up.sh 스크립트를 사용하여 나중에 재정의 명령에서 사용할 수 있는 새 런타임이나 애플리케이션을 설치할 수도 있습니다.

경로 제외#

API를 테스트할 때 특정 경로를 제외하는 것이 유용할 수 있습니다. 예를 들어 인증 서비스 또는 이전 버전의 API 테스트를 제외할 수 있습니다. 경로를 제외하려면 FUZZAPI_EXCLUDE_PATHS CI/CD 변수를 사용합니다. 이 변수는 .gitlab-ci.yml 파일에 지정됩니다. 여러 경로를 제외하려면 ; 문자를 사용하여 항목을 구분합니다. 제공된 경로에서 단일 문자 와일드카드 ?와 다중 문자 와일드카드 *를 사용할 수 있습니다.

경로가 제외되었는지 확인하려면 job 출력의 Tested Operations 및 Excluded Operations 부분을 검토합니다. Tested Operations 아래에 제외된 경로가 나열되어서는 안 됩니다.

2021-05-27 21:51:08 [INF] API Fuzzing: --[ Tested Operations ]-------------------------
2021-05-27 21:51:08 [INF] API Fuzzing: 201 POST http://target:7777/api/users CREATED
2021-05-27 21:51:08 [INF] API Fuzzing: ------------------------------------------------
2021-05-27 21:51:08 [INF] API Fuzzing: --[ Excluded Operations ]-----------------------
2021-05-27 21:51:08 [INF] API Fuzzing: GET http://target:7777/api/messages
2021-05-27 21:51:08 [INF] API Fuzzing: POST http://target:7777/api/messages
2021-05-27 21:51:08 [INF] API Fuzzing: ------------------------------------------------

경로 제외 예시#

이 예시는 /auth 리소스를 제외합니다. 자식 리소스(/auth/child)는 제외하지 않습니다.

variables:
  FUZZAPI_EXCLUDE_PATHS: /auth

/auth 및 자식 리소스(/auth/child)를 제외하려면 와일드카드를 사용합니다:

variables:
  FUZZAPI_EXCLUDE_PATHS: /auth*

여러 경로를 제외하려면 ; 문자를 사용하여 경로를 구분합니다. 이 예시에서는 /auth*와 /v1/*를 제외합니다.

variables:
  FUZZAPI_EXCLUDE_PATHS: /auth*;/v1/*

매개변수 제외#

API를 테스트할 때 매개변수(쿼리 문자열, 헤더 또는 본문 요소)를 테스트에서 제외하고 싶을 수 있습니다. 매개변수가 항상 실패를 유발하거나, 테스트 속도를 저하시키거나, 다른 이유로 필요할 수 있습니다. 매개변수를 제외하려면 다음 변수 중 하나를 사용할 수 있습니다: FUZZAPI_EXCLUDE_PARAMETER_ENV 또는 FUZZAPI_EXCLUDE_PARAMETER_FILE.

FUZZAPI_EXCLUDE_PARAMETER_ENV는 제외된 매개변수를 포함하는 JSON 문자열을 제공할 수 있습니다. JSON이 짧고 자주 변경되지 않는 경우 좋은 옵션입니다. 또 다른 옵션은 변수 FUZZAPI_EXCLUDE_PARAMETER_FILE입니다. 이 변수는 리포지터리에 체크인하거나, 다른 job의 아티팩트로 생성되거나, FUZZAPI_PRE_SCRIPT를 사용하는 사전 스크립트에서 런타임에 생성될 수 있는 파일 경로로 설정됩니다.

JSON 문서를 사용하여 매개변수 제외#

JSON 문서는 스캐닝 프로세스 중 제외할 특정 매개변수를 식별하기 위해 특정 속성을 사용하는 JSON 객체를 포함합니다. 스캐닝 프로세스 중 특정 매개변수를 제외하기 위해 다음 속성을 제공할 수 있습니다:

• headers: 특정 헤더를 제외하는 데 이 속성을 사용합니다. 속성의 값은 제외할 헤더 이름의 배열입니다. 이름은 대소문자를 구분하지 않습니다.
• cookies: 특정 쿠키를 제외하는 데 이 속성의 값을 사용합니다. 속성의 값은 제외할 쿠키 이름의 배열입니다. 이름은 대소문자를 구분합니다.
• query: 쿼리 문자열에서 특정 필드를 제외하는 데 이 속성을 사용합니다. 속성의 값은 제외할 쿼리 문자열의 필드 이름 배열입니다. 이름은 대소문자를 구분합니다.
• body-form: 미디어 유형 application/x-www-form-urlencoded를 사용하는 요청에서 특정 필드를 제외하는 데 이 속성을 사용합니다. 속성의 값은 제외할 본문의 필드 이름 배열입니다. 이름은 대소문자를 구분합니다.
• body-json: 미디어 유형 application/json을 사용하는 요청에서 특정 JSON 노드를 제외하는 데 이 속성을 사용합니다. 속성의 값은 배열이며, 배열의 각 항목은 JSON 경로 표현식입니다.
• body-xml: 미디어 유형 application/xml을 사용하는 요청에서 특정 XML 노드를 제외하는 데 이 속성을 사용합니다. 속성의 값은 배열이며, 배열의 각 항목은 XPath v2 표현식입니다.

다음 JSON 문서는 매개변수를 제외하는 예상 구조의 예시입니다.

{
  "headers": [
    "header1",
    "header2"
  ],
  "cookies": [
    "cookie1",
    "cookie2"
  ],
  "query": [
    "query-string1",
    "query-string2"
  ],
  "body-form": [
    "form-param1",
    "form-param2"
  ],
  "body-json": [
    "json-path-expression-1",
    "json-path-expression-2"
  ],
  "body-xml" : [
    "xpath-expression-1",
    "xpath-expression-2"
  ]
}

예시#

단일 헤더 제외#

헤더 Upgrade-Insecure-Requests를 제외하려면 header 속성의 값을 헤더 이름의 배열로 설정합니다: [ "Upgrade-Insecure-Requests" ]. 예를 들어 JSON 문서는 다음과 같습니다:

{
  "headers": [ "Upgrade-Insecure-Requests" ]
}

헤더 이름은 대소문자를 구분하지 않으므로 헤더 이름 UPGRADE-INSECURE-REQUESTS는 Upgrade-Insecure-Requests와 동일합니다.

헤더와 두 쿠키 제외#

헤더 Authorization과 쿠키 PHPSESSID 및 csrftoken을 제외하려면 headers 속성의 값을 헤더 이름 [ "Authorization" ] 배열로 설정하고 cookies 속성의 값을 쿠키 이름 [ "PHPSESSID", "csrftoken" ] 배열로 설정합니다. 예를 들어 JSON 문서는 다음과 같습니다:

{
  "headers": [ "Authorization" ],
  "cookies": [ "PHPSESSID", "csrftoken" ]
}

body-form 매개변수 제외#

application/x-www-form-urlencoded를 사용하는 요청에서 password 필드를 제외하려면 body-form 속성의 값을 필드 이름 [ "password" ] 배열로 설정합니다. 예를 들어 JSON 문서는 다음과 같습니다:

{
  "body-form":  [ "password" ]
}

제외 매개변수는 요청이 내용 유형 application/x-www-form-urlencoded를 사용할 때 body-form을 사용합니다.

JSON 경로를 사용하여 특정 JSON 노드 제외#

루트 객체의 schema 속성을 제외하려면 body-json 속성의 값을 JSON 경로 표현식 [ "$.schema" ] 배열로 설정합니다.

JSON 경로 표현식은 JSON 노드를 식별하기 위해 특별한 구문을 사용합니다: $는 JSON 문서의 루트를 참조하고, .는 현재 객체(이 경우 루트 객체)를 참조하며, 텍스트 schema는 속성 이름을 참조합니다. 따라서 JSON 경로 표현식 $.schema는 루트 객체의 schema 속성을 참조합니다. 예를 들어 JSON 문서는 다음과 같습니다:

{
  "body-json": [ "$.schema" ]
}

제외 매개변수는 요청이 내용 유형 application/json을 사용할 때 body-json을 사용합니다. body-json의 각 항목은 JSON 경로 표현식이어야 합니다. JSON 경로에서 $, *, . 등의 문자는 특별한 의미를 가집니다.

JSON 경로를 사용하여 여러 JSON 노드 제외#

루트 레벨의 users 배열의 각 항목에서 password 속성을 제외하려면 body-json 속성의 값을 JSON 경로 표현식 [ "$.users[*].paswword" ] 배열로 설정합니다.

JSON 경로 표현식은 루트 노드를 참조하는 $로 시작하고 현재 노드를 참조하는 .을 사용합니다. 다음에 속성을 참조하는 users를 사용합니다. 문자 [와 ]는 사용하려는 배열 인덱스를 둘러쌉니다. 특정 숫자 대신 임의의 인덱스를 지정하기 위해 *를 사용할 수 있습니다. 인덱스 참조 후 . 문자는 배열의 선택된 인덱스를 참조하고 속성 이름 password가 뒤따릅니다.

예를 들어 JSON 문서는 다음과 같습니다:

{
  "body-json": [ "$.users[*].password" ]
}

제외 매개변수는 요청이 내용 유형 application/json을 사용할 때 body-json을 사용합니다. body-json의 각 항목은 JSON 경로 표현식이어야 합니다. JSON 경로에서 $, *, . 등의 문자는 특별한 의미를 가집니다.

XML 속성 제외#

루트 요소 credentials에 위치한 isEnabled라는 속성을 제외하려면 body-xml 속성의 값을 XPath 표현식 [ "/credentials/@isEnabled" ] 배열로 설정합니다.

XPath 표현식 /credentials/@isEnabled는 /로 시작하여 XML 문서의 루트를 나타내고, 그 다음 일치할 요소 이름 credentials를 나타냅니다. 이전 XML 요소의 노드를 참조하기 위해 /를 사용하고, @ 문자는 이름 isEnable가 속성임을 나타냅니다.

예를 들어 JSON 문서는 다음과 같습니다:

{
  "body-xml": [
    "/credentials/@isEnabled"
  ]
}

제외 매개변수는 요청이 내용 유형 application/xml을 사용할 때 body-xml을 사용합니다. body-xml의 각 항목은 XPath v2 표현식이어야 합니다. XPath 표현식에서 @, /, :, [, ] 등의 문자는 특별한 의미를 가집니다.

XML 요소의 텍스트 제외#

루트 노드 credentials에 포함된 username 요소의 텍스트를 제외하려면 body-xml 속성의 값을 XPath 표현식 [/credentials/username/text()" ] 배열로 설정합니다.

XPath 표현식 /credentials/username/text()에서 첫 번째 문자 /는 루트 XML 노드를 참조하고, 그 다음 XML 요소 이름 credentials를 나타냅니다. 마찬가지로 문자 /는 현재 요소를 참조하고, 새 XML 요소 이름 username이 뒤따릅니다. 마지막 부분은 현재 요소를 참조하는 /를 가지고, 현재 요소의 텍스트를 식별하는 XPath 함수 text()를 사용합니다.

예를 들어 JSON 문서는 다음과 같습니다:

{
  "body-xml": [
    "/credentials/username/text()"
  ]
}

제외 매개변수는 요청이 내용 유형 application/xml을 사용할 때 body-xml을 사용합니다. body-xml의 각 항목은 XPath v2 표현식이어야 합니다. XPath 표현식에서 @, /, :, [, ] 등의 문자는 특별한 의미를 가집니다.

XML 요소 제외#

루트 노드 credentials에 포함된 요소 username을 제외하려면 body-xml 속성의 값을 XPath 표현식 [/credentials/username" ] 배열로 설정합니다.

XPath 표현식 /credentials/username에서 첫 번째 문자 /는 루트 XML 노드를 참조하고, 그 다음 XML 요소 이름 credentials를 나타냅니다. 마찬가지로 문자 /는 현재 요소를 참조하고, 새 XML 요소 이름 username이 뒤따릅니다.

예를 들어 JSON 문서는 다음과 같습니다:

{
  "body-xml": [
    "/credentials/username"
  ]
}

제외 매개변수는 요청이 내용 유형 application/xml을 사용할 때 body-xml을 사용합니다. body-xml의 각 항목은 XPath v2 표현식이어야 합니다. XPath 표현식에서 @, /, :, [, ] 등의 문자는 특별한 의미를 가집니다.

네임스페이스를 가진 XML 노드 제외#

네임스페이스 s에 정의되고 credentials 루트 노드에 포함된 XML 요소 login을 제외하려면 body-xml 속성의 값을 XPath 표현식 [ "/credentials/s:login" ] 배열로 설정합니다.

XPath 표현식 /credentials/s:login에서 첫 번째 문자 /는 루트 XML 노드를 참조하고, 그 다음 XML 요소 이름 credentials를 나타냅니다. 마찬가지로 문자 /는 현재 요소를 참조하고, 새 XML 요소 이름 s:login이 뒤따릅니다. 이름에는 문자 :가 포함되어 있으며, 이 문자는 네임스페이스와 노드 이름을 구분합니다.

네임스페이스 이름은 본문 요청의 일부인 XML 문서에 정의되어 있어야 합니다. HAR, OpenAPI 또는 Postman Collection 파일의 사양 문서에서 네임스페이스를 확인할 수 있습니다.

{
  "body-xml": [
    "/credentials/s:login"
  ]
}

제외 매개변수는 요청이 내용 유형 application/xml을 사용할 때 body-xml을 사용합니다. body-xml의 각 항목은 XPath v2 표현식이어야 합니다. XPath 표현식에서 @, /, :, [, ] 등의 문자는 특별한 의미를 가집니다.

JSON 문자열 사용#

제외 JSON 문서를 제공하려면 변수 FUZZAPI_EXCLUDE_PARAMETER_ENV를 JSON 문자열로 설정합니다. 다음 예시 .gitlab-ci.yml에서 FUZZAPI_EXCLUDE_PARAMETER_ENV 변수는 JSON 문자열로 설정됩니다:

stages:
     - fuzz

include:
  - template: API-Fuzzing.gitlab-ci.yml

variables:
  FUZZAPI_PROFILE: Quick
  FUZZAPI_OPENAPI: test-api-specification.json
  FUZZAPI_TARGET_URL: http://test-deployment/
  FUZZAPI_EXCLUDE_PARAMETER_ENV: '{ "headers": [ "Upgrade-Insecure-Requests" ] }'

파일 사용#

제외 JSON 문서를 제공하려면 변수 FUZZAPI_EXCLUDE_PARAMETER_FILE을 JSON 파일 경로로 설정합니다. 파일 경로는 job 현재 작업 디렉터리에 상대적입니다. 다음 예시 .gitlab-ci.yml 파일에서 FUZZAPI_EXCLUDE_PARAMETER_FILE 변수는 JSON 파일 경로로 설정됩니다:

stages:
     - fuzz

include:
  - template: API-Fuzzing.gitlab-ci.yml

variables:
  FUZZAPI_PROFILE: Quick
  FUZZAPI_OPENAPI: test-api-specification.json
  FUZZAPI_TARGET_URL: http://test-deployment/
  FUZZAPI_EXCLUDE_PARAMETER_FILE: api-fuzzing-exclude-parameters.json

api-fuzzing-exclude-parameters.json은 제외 매개변수 문서 구조를 따르는 JSON 문서입니다.

URL 제외#

경로로 제외하는 것의 대안으로, FUZZAPI_EXCLUDE_URLS CI/CD 변수를 사용하여 URL의 다른 구성 요소로 필터링할 수 있습니다. 이 변수는 .gitlab-ci.yml 파일에 설정할 수 있습니다. 변수는 쉼표(,)로 구분된 여러 값을 저장할 수 있습니다. 각 값은 정규 표현식입니다. 각 항목이 정규 표현식이므로 .*와 같은 항목은 모든 것과 일치하는 정규 표현식이기 때문에 모든 URL을 제외합니다.

job 출력에서 FUZZAPI_EXCLUDE_URLS에서 제공된 정규 표현식과 일치하는 URL이 있는지 확인할 수 있습니다. 일치 작업은 Excluded Operations 섹션에 나열됩니다. Excluded Operations에 나열된 작업은 Tested Operations 섹션에 나열되어서는 안 됩니다. 예를 들어 다음 job 출력 부분:

2021-05-27 21:51:08 [INF] API Fuzzing: --[ Tested Operations ]-------------------------
2021-05-27 21:51:08 [INF] API Fuzzing: 201 POST http://target:7777/api/users CREATED
2021-05-27 21:51:08 [INF] API Fuzzing: ------------------------------------------------
2021-05-27 21:51:08 [INF] API Fuzzing: --[ Excluded Operations ]-----------------------
2021-05-27 21:51:08 [INF] API Fuzzing: GET http://target:7777/api/messages
2021-05-27 21:51:08 [INF] API Fuzzing: POST http://target:7777/api/messages
2021-05-27 21:51:08 [INF] API Fuzzing: ------------------------------------------------

예시#

URL과 자식 리소스 제외#

다음 예시는 URL http://target/api/auth와 자식 리소스를 제외합니다.

stages:
  - fuzz

include:
  - template: API-Fuzzing.gitlab-ci.yml

variables:
  FUZZAPI_TARGET_URL: http://target/
  FUZZAPI_OPENAPI: test-api-specification.json
  FUZZAPI_EXCLUDE_URLS: http://target/api/auth

두 URL 제외하고 자식 리소스 허용#

URL http://target/api/buy와 http://target/api/sell을 제외하지만 자식 리소스(예: http://target/api/buy/toy 또는 http://target/api/sell/chair)를 스캔하도록 허용합니다. http://target/api/buy/$,http://target/api/sell/$ 값을 사용할 수 있습니다. 이 값은 두 가지 정규 표현식을 사용하며, 각 정규 표현식은 , 문자로 구분됩니다. 따라서 http://target/api/buy$와 http://target/api/sell$를 포함합니다. 각 정규 표현식에서 후행 $ 문자는 일치하는 URL이 끝나야 하는 위치를 나타냅니다.

stages:
  - fuzz

include:
  - template: API-Fuzzing.gitlab-ci.yml

variables:
  FUZZAPI_TARGET_URL: http://target/
  FUZZAPI_OPENAPI: test-api-specification.json
  FUZZAPI_EXCLUDE_URLS: http://target/api/buy/$,http://target/api/sell/$

두 URL과 자식 리소스 제외#

URL http://target/api/buy와 http://target/api/sell 및 자식 리소스를 제외합니다. 여러 URL을 제공하기 위해 , 문자를 다음과 같이 사용합니다:

stages:
  - fuzz

include:
  - template: API-Fuzzing.gitlab-ci.yml

variables:
  FUZZAPI_TARGET_URL: http://target/
  FUZZAPI_OPENAPI: test-api-specification.json
  FUZZAPI_EXCLUDE_URLS: http://target/api/buy,http://target/api/sell

정규 표현식을 사용하여 URL 제외#

정확히 https://target/api/v1/user/create와 https://target/api/v2/user/create 또는 다른 버전(v3, v4 등)을 제외하려면 https://target/api/v.*/user/create$를 사용할 수 있습니다. 이전 정규 표현식에서:

• .은 임의의 문자를 나타냅니다.
• *는 0회 이상을 나타냅니다.
• $는 URL이 거기서 끝나야 함을 나타냅니다.

stages:
  - fuzz

include:
  - template: API-Fuzzing.gitlab-ci.yml

variables:
  FUZZAPI_TARGET_URL: http://target/
  FUZZAPI_OPENAPI: test-api-specification.json
  FUZZAPI_EXCLUDE_URLS: https://target/api/v.*/user/create$

헤더 퍼징#

헤더 퍼징은 많은 기술 스택에서 발생하는 높은 수의 거짓 양성으로 인해 기본적으로 비활성화되어 있습니다. 헤더 퍼징이 활성화되면 퍼징에 포함할 헤더 목록을 지정해야 합니다.

기본 구성 파일의 각 프로파일에는 GeneralFuzzingCheck 항목이 있습니다. 이 검사가 헤더 퍼징을 수행합니다. Configuration 섹션에서 헤더 퍼징을 활성화하려면 HeaderFuzzing 및 Headers 설정을 변경해야 합니다.

이 스니펫은 헤더 퍼징이 비활성화된 Quick-10 프로파일의 기본 구성을 보여줍니다:

- Name: Quick-10
  DefaultProfile: Empty
  Routes:
  - Route: *Route0
    Checks:
    - Name: FormBodyFuzzingCheck
      Configuration:
        FuzzingCount: 10
        UnicodeFuzzing: true
    - Name: GeneralFuzzingCheck
      Configuration:
        FuzzingCount: 10
        UnicodeFuzzing: true
        HeaderFuzzing: false
        Headers:
    - Name: JsonFuzzingCheck
      Configuration:
        FuzzingCount: 10
        UnicodeFuzzing: true
    - Name: XmlFuzzingCheck
      Configuration:
        FuzzingCount: 10
        UnicodeFuzzing: true

HeaderFuzzing은 헤더 퍼징을 켜고 끄는 부울입니다. 기본 설정은 끄기인 false입니다. 헤더 퍼징을 켜려면 이 설정을 true로 변경합니다:

    - Name: GeneralFuzzingCheck
      Configuration:
        FuzzingCount: 10
        UnicodeFuzzing: true
        HeaderFuzzing: true
        Headers:

Headers는 퍼징할 헤더의 목록입니다. 나열된 헤더만 퍼징됩니다. API에서 사용하는 헤더를 퍼징하려면 - Name: HeaderName 구문을 사용하여 항목을 추가합니다. 예를 들어, 사용자 정의 헤더 X-Custom을 퍼징하려면 - Name: X-Custom을 추가합니다:

    - Name: GeneralFuzzingCheck
      Configuration:
        FuzzingCount: 10
        UnicodeFuzzing: true
        HeaderFuzzing: true
        Headers:
          - Name: X-Custom

이제 헤더 X-Custom을 퍼징하는 구성이 있습니다. 동일한 표기법을 사용하여 추가 헤더를 나열합니다:

    - Name: GeneralFuzzingCheck
      Configuration:
        FuzzingCount: 10
        UnicodeFuzzing: true
        HeaderFuzzing: true
        Headers:
          - Name: X-Custom
          - Name: X-AnotherHeader

필요에 따라 각 프로파일에 대해 이 구성을 반복합니다.