API 퍼징 동작은 CI/CD 변수로 변경할 수 있습니다.

API 퍼징 구성 파일은 리포지터리의 .gitlab 디렉터리에 있어야 합니다.

인증#

인증은 인증 토큰을 헤더 또는 쿠키로 제공하여 처리됩니다. 인증 플로를 수행하거나 토큰을 계산하는 스크립트를 제공할 수 있습니다.

HTTP 기본 인증#

HTTP 기본 인증은 HTTP 프로토콜에 내장된 인증 방법으로 전송 계층 보안(TLS)과 함께 사용됩니다.

비밀번호에 대해 CI/CD 변수를 생성하고 (예: TEST_API_PASSWORD) 마스킹으로 설정할 것을 권장합니다. CI/CD 변수는 GitLab 프로젝트 페이지의 Settings > CI/CD의 Variables 섹션에서 생성할 수 있습니다. 마스킹된 변수의 제한 사항 때문에 변수로 추가하기 전에 비밀번호를 Base64로 인코딩해야 합니다.

마지막으로 .gitlab-ci.yml 파일에 CI/CD 변수 두 개를 추가합니다.

• FUZZAPI_HTTP_USERNAME: 인증용 사용자 이름입니다.
• FUZZAPI_HTTP_PASSWORD_BASE64: 인증용 Base64 인코딩된 비밀번호입니다.

stages:
    - fuzz

include:
  - template: API-Fuzzing.gitlab-ci.yml

variables:
  FUZZAPI_PROFILE: Quick-10
  FUZZAPI_HAR: test-api-recording.har
  FUZZAPI_TARGET_URL: http://test-deployment/
  FUZZAPI_HTTP_USERNAME: testuser
  FUZZAPI_HTTP_PASSWORD_BASE64: $TEST_API_PASSWORD

원시 비밀번호#

비밀번호를 Base64로 인코딩하지 않으려면 FUZZAPI_HTTP_PASSWORD_BASE64 대신 원시 비밀번호 FUZZAPI_HTTP_PASSWORD를 제공할 수 있습니다.

Bearer 토큰#

Bearer 토큰은 OAuth2 및 JSON Web Tokens(JWT)를 포함한 여러 인증 메커니즘에서 사용됩니다. Bearer 토큰은 Authorization HTTP 헤더로 전송됩니다. API 퍼징에서 Bearer 토큰을 사용하려면 다음 중 하나가 필요합니다.

• 만료되지 않는 토큰
• 테스트 기간 동안 유지되는 토큰을 생성하는 방법
• API 퍼징이 토큰을 생성하기 위해 호출할 수 있는 Python 스크립트

토큰이 만료되지 않는 경우#

Bearer 토큰이 만료되지 않는 경우 FUZZAPI_OVERRIDES_ENV 변수를 사용하여 제공합니다. 이 변수의 내용은 API 퍼징의 발신 HTTP 요청에 추가할 헤더와 쿠키를 제공하는 JSON 스니펫입니다.

FUZZAPI_OVERRIDES_ENV로 Bearer 토큰을 제공하려면 다음 단계를 따릅니다.

1. CI/CD 변수를 생성합니다. 예를 들어 TEST_API_BEARERAUTH라는 변수를 값 {"headers":{"Authorization":"Bearer dXNlcm5hbWU6cGFzc3dvcmQ="}}으로 생성합니다(토큰은 대체). CI/CD 변수는 GitLab 프로젝트 페이지의 Settings > CI/CD의 Variables 섹션에서 생성할 수 있습니다.

2. .gitlab-ci.yml 파일에서 방금 생성한 변수로 FUZZAPI_OVERRIDES_ENV를 설정합니다.

   stages:
     - fuzz
   
   include:
     - template: API-Fuzzing.gitlab-ci.yml
   
   variables:
     FUZZAPI_PROFILE: Quick-10
     FUZZAPI_OPENAPI: test-api-specification.json
     FUZZAPI_TARGET_URL: http://test-deployment/
     FUZZAPI_OVERRIDES_ENV: $TEST_API_BEARERAUTH
   

3. 인증이 동작하는지 확인하려면 API 퍼징 테스트를 실행하고 퍼징 로그와 테스트 API의 애플리케이션 로그를 검토합니다. 재정의 명령에 대한 자세한 내용은 재정의 섹션을 참고합니다.

테스트 런타임에 생성된 토큰#

Bearer 토큰을 생성해야 하고 테스트 중에 만료되지 않는 경우, 토큰을 포함하는 파일을 API 퍼징에 제공할 수 있습니다. 이전 스테이지와 job, 또는 API 퍼징 job의 일부에서 이 파일을 생성할 수 있습니다.

API 퍼징은 다음 구조의 JSON 파일을 받을 것으로 예상합니다.

{
  "headers" : {
    "Authorization" : "Bearer dXNlcm5hbWU6cGFzc3dvcmQ="
  }
}

이 파일은 이전 스테이지에서 생성하여 FUZZAPI_OVERRIDES_FILE CI/CD 변수로 API 퍼징에 제공할 수 있습니다.

.gitlab-ci.yml 파일에서 FUZZAPI_OVERRIDES_FILE을 설정합니다.

stages:
     - fuzz

include:
  - template: API-Fuzzing.gitlab-ci.yml

variables:
  FUZZAPI_PROFILE: Quick
  FUZZAPI_OPENAPI: test-api-specification.json
  FUZZAPI_TARGET_URL: http://test-deployment/
  FUZZAPI_OVERRIDES_FILE: api-fuzzing-overrides.json

인증이 동작하는지 확인하려면 API 퍼징 테스트를 실행하고 퍼징 로그와 테스트 API의 애플리케이션 로그를 검토합니다.

토큰 만료 기간이 짧은 경우#

Bearer 토큰을 생성해야 하고 스캔이 완료되기 전에 만료되는 경우, API 퍼저가 제공된 간격으로 실행할 프로그램 또는 스크립트를 제공할 수 있습니다. 제공된 스크립트는 Python 3과 Bash가 설치된 Alpine Linux 컨테이너에서 실행됩니다. Python 스크립트에 추가 패키지가 필요한 경우, 이를 감지하여 런타임에 패키지를 설치해야 합니다.

스크립트는 특정 형식으로 Bearer 토큰을 포함하는 JSON 파일을 생성해야 합니다.

{
  "headers" : {
    "Authorization" : "Bearer dXNlcm5hbWU6cGFzc3dvcmQ="
  }
}

올바른 동작을 위해 각각 설정된 세 가지 CI/CD 변수를 제공해야 합니다.

• FUZZAPI_OVERRIDES_FILE: 제공된 명령이 생성하는 JSON 파일입니다.
• FUZZAPI_OVERRIDES_CMD: JSON 파일을 생성하는 명령입니다.
• FUZZAPI_OVERRIDES_INTERVAL: 명령을 실행할 간격(초 단위)입니다.

예를 들면 다음과 같습니다.

stages:
     - fuzz

include:
  - template: API-Fuzzing.gitlab-ci.yml

variables:
  FUZZAPI_PROFILE: Quick-10
  FUZZAPI_OPENAPI: test-api-specification.json
  FUZZAPI_TARGET_URL: http://test-deployment/
  FUZZAPI_OVERRIDES_FILE: api-fuzzing-overrides.json
  FUZZAPI_OVERRIDES_CMD: renew_token.py
  FUZZAPI_OVERRIDES_INTERVAL: 300

인증이 동작하는지 확인하려면 API 퍼징 테스트를 실행하고 퍼징 로그와 테스트 API의 애플리케이션 로그를 검토합니다.

API 퍼징 프로파일#

GitLab은 구성 파일 gitlab-api-fuzzing-config.yml을 제공합니다. 여기에는 특정 수의 테스트를 수행하는 여러 테스트 프로파일이 포함되어 있습니다. 각 프로파일의 실행 시간은 테스트 수가 증가함에 따라 늘어납니다.

재정의#

API 퍼징은 요청의 특정 항목을 추가하거나 재정의하는 방법을 제공합니다. 예를 들면 다음과 같습니다.

• 헤더
• 쿠키
• 쿼리 문자열
• 폼 데이터
• JSON 노드
• XML 노드

이를 사용하여 시맨틱 버전 헤더, 인증 등을 삽입할 수 있습니다. 인증 섹션에는 이 목적으로 재정의를 사용하는 예시가 포함되어 있습니다.

재정의는 JSON 문서를 사용하며, 각 재정의 유형은 JSON 객체로 표현됩니다.

{
  "headers": {
    "header1": "value",
    "header2": "value"
  },
  "cookies": {
    "cookie1": "value",
    "cookie2": "value"
  },
  "query":      {
    "query-string1": "value",
    "query-string2": "value"
  },
  "body-form":  {
    "form-param1": "value",
    "form-param2": "value"
  },
  "body-json":  {
    "json-path1": "value",
    "json-path2": "value"
  },
  "body-xml" :  {
    "xpath1":    "value",
    "xpath2":    "value"
  }
}

단일 헤더를 설정하는 예시입니다.

{
  "headers": {
    "Authorization": "Bearer dXNlcm5hbWU6cGFzc3dvcmQ="
  }
}

헤더와 쿠키를 모두 설정하는 예시입니다.

{
  "headers": {
    "Authorization": "Bearer dXNlcm5hbWU6cGFzc3dvcmQ="
  },
  "cookies": {
    "flags": "677"
  }
}

body-form 재정의를 설정하는 사용 예시입니다.

{
  "body-form":  {
    "username": "john.doe"
  }
}

재정의 엔진은 요청 본문에 폼 데이터 콘텐츠만 있을 때 body-form을 사용합니다.

body-json 재정의를 설정하는 사용 예시입니다.

{
  "body-json":  {
    "$.credentials.access-token": "iddqd!42.$"
  }
}

body-json 객체의 각 JSON 속성 이름은 JSON 경로 표현식으로 설정됩니다. JSON 경로 표현식 $.credentials.access-token은 값 iddqd!42.$로 재정의할 노드를 식별합니다. 재정의 엔진은 요청 본문에 JSON 콘텐츠만 있을 때 body-json을 사용합니다.

예를 들어 본문이 다음 JSON으로 설정된 경우입니다.

{
    "credentials" : {
        "username" :"john.doe",
        "access-token" : "non-valid-password"
    }
}

다음으로 변경됩니다.

{
    "credentials" : {
        "username" :"john.doe",
        "access-token" : "iddqd!42.$"
    }
}

body-xml 재정의를 설정하는 예시입니다. 첫 번째 항목은 XML 속성을 재정의하고 두 번째 항목은 XML 요소를 재정의합니다.

{
  "body-xml" :  {
    "/credentials/@isEnabled": "true",
    "/credentials/access-token/text()" : "iddqd!42.$"
  }
}

body-xml 객체의 각 JSON 속성 이름은 XPath v2 표현식으로 설정됩니다. XPath 표현식 /credentials/@isEnabled는 값 true로 재정의할 속성 노드를 식별합니다. XPath 표현식 /credentials/access-token/text()는 값 iddqd!42.$로 재정의할 요소 노드를 식별합니다. 재정의 엔진은 요청 본문에 XML 콘텐츠만 있을 때 body-xml을 사용합니다.

예를 들어 본문이 다음 XML로 설정된 경우입니다.

<credentials isEnabled="false">
  <username>john.doe</username>
  <access-token>non-valid-password</access-token>
</credentials>

다음으로 변경됩니다.

<credentials isEnabled="true">
  <username>john.doe</username>
  <access-token>iddqd!42.$</access-token>
</credentials>

이 JSON 문서는 파일 또는 환경 변수로 제공할 수 있습니다. JSON 문서를 생성하는 명령을 제공할 수도 있습니다. 이 명령은 만료되는 값을 지원하기 위해 일정 간격으로 실행할 수 있습니다.

파일 사용#

재정의 JSON을 파일로 제공하려면 FUZZAPI_OVERRIDES_FILE CI/CD 변수를 설정합니다. 경로는 job의 현재 작업 디렉터리에 대한 상대 경로입니다.

.gitlab-ci.yml 예시는 다음과 같습니다.

stages:
     - fuzz

include:
  - template: API-Fuzzing.gitlab-ci.yml

variables:
  FUZZAPI_PROFILE: Quick
  FUZZAPI_OPENAPI: test-api-specification.json
  FUZZAPI_TARGET_URL: http://test-deployment/
  FUZZAPI_OVERRIDES_FILE: api-fuzzing-overrides.json

CI/CD 변수 사용#

재정의 JSON을 CI/CD 변수로 제공하려면 FUZZAPI_OVERRIDES_ENV 변수를 사용합니다. 이렇게 하면 JSON을 마스킹하고 보호할 수 있는 변수로 배치할 수 있습니다.

이 .gitlab-ci.yml 예시에서 FUZZAPI_OVERRIDES_ENV 변수는 JSON으로 직접 설정됩니다.

stages:
     - fuzz

include:
  - template: API-Fuzzing.gitlab-ci.yml

variables:
  FUZZAPI_PROFILE: Quick
  FUZZAPI_OPENAPI: test-api-specification.json
  FUZZAPI_TARGET_URL: http://test-deployment/
  FUZZAPI_OVERRIDES_ENV: '{"headers":{"X-API-Version":"2"}}'

이 .gitlab-ci.yml 예시에서 SECRET_OVERRIDES 변수가 JSON을 제공합니다. 이것은 UI에서 정의하는 그룹 또는 인스턴스 수준 CI/CD 변수입니다.

stages:
     - fuzz

include:
  - template: API-Fuzzing.gitlab-ci.yml

variables:
  FUZZAPI_PROFILE: Quick
  FUZZAPI_OPENAPI: test-api-specification.json
  FUZZAPI_TARGET_URL: http://test-deployment/
  FUZZAPI_OVERRIDES_ENV: $SECRET_OVERRIDES

명령 사용#

값을 만료 시 생성하거나 재생성해야 하는 경우, API 퍼저가 지정된 간격으로 실행할 프로그램 또는 스크립트를 제공할 수 있습니다. 제공된 스크립트는 Python 3과 Bash가 설치된 Alpine Linux 컨테이너에서 실행됩니다.

환경 변수 FUZZAPI_OVERRIDES_CMD를 실행하려는 프로그램 또는 스크립트로 설정해야 합니다. 제공된 명령은 이전에 정의한 대로 재정의 JSON 파일을 생성합니다.

NodeJS나 Ruby와 같은 다른 스크립팅 런타임을 설치하거나 재정의 명령을 위한 의존성을 설치해야 할 수 있습니다. 이 경우 FUZZAPI_PRE_SCRIPT를 이러한 전제 조건을 제공하는 스크립트의 파일 경로로 설정합니다. FUZZAPI_PRE_SCRIPT가 제공하는 스크립트는 분석기가 시작되기 전에 한 번 실행됩니다.

Alpine Linux 패키지 설치에 대한 정보는 Alpine Linux 패키지 관리 페이지를 참고합니다.

올바른 동작을 위해 각각 설정된 세 가지 CI/CD 변수를 제공해야 합니다.

• FUZZAPI_OVERRIDES_FILE: 제공된 명령이 생성하는 파일입니다.
• FUZZAPI_OVERRIDES_CMD: 재정의 JSON 파일을 주기적으로 생성하는 재정의 명령입니다.
• FUZZAPI_OVERRIDES_INTERVAL: 명령을 실행할 간격(초 단위)입니다.

선택 사항입니다.

• FUZZAPI_PRE_SCRIPT: 분석기가 시작되기 전에 런타임 또는 의존성을 설치하는 스크립트입니다.

stages:
     - fuzz

include:
  - template: API-Fuzzing.gitlab-ci.yml

variables:
  FUZZAPI_PROFILE: Quick
  FUZZAPI_OPENAPI: test-api-specification.json
  FUZZAPI_TARGET_URL: http://test-deployment/
  FUZZAPI_OVERRIDES_FILE: api-fuzzing-overrides.json
  FUZZAPI_OVERRIDES_CMD: renew_token.py
  FUZZAPI_OVERRIDES_INTERVAL: 300

재정의 디버깅#

기본적으로 재정의 명령의 출력은 숨겨집니다. 재정의 명령이 0이 아닌 종료 코드를 반환하면 해당 명령이 job 출력의 일부로 표시됩니다. 필요하다면 변수 FUZZAPI_OVERRIDES_CMD_VERBOSE를 임의의 값으로 설정하여 재정의 명령의 출력을 생성되는 대로 표시할 수 있습니다. 이는 재정의 스크립트를 테스트할 때 유용하지만, 테스트 속도를 저하시키므로 이후에는 비활성화해야 합니다.

스크립트에서 job이 완료되거나 실패할 때 수집되는 로그 파일에 메시지를 기록할 수도 있습니다. 로그 파일은 특정 위치에 생성되어야 하며 명명 규칙을 따라야 합니다.

재정의 스크립트에 기본 로깅을 추가하면 일반적인 job 실행 중 스크립트가 예기치 않게 실패하는 경우에 유용합니다. 로그 파일은 job의 아티팩트로 자동 포함되므로 job이 완료된 후 다운로드할 수 있습니다.

앞의 예시에서는 환경 변수 FUZZAPI_OVERRIDES_CMD에 renew_token.py를 제공했습니다. 스크립트에서 다음 두 가지를 확인합니다.

• 로그 파일은 환경 변수 CI_PROJECT_DIR이 나타내는 위치에 저장됩니다.
• 로그 파일 이름은 gl-*.log와 일치해야 합니다.

#!/usr/bin/env python

# Example of an overrides command

# Override commands can update the overrides json file
# with new values to be used.  This is a great way to
# update an authentication token that will expire
# during testing.

import logging
import json
import os
import requests
import backoff

# [1] Store log file in directory indicated by env var CI_PROJECT_DIR
working_directory = os.environ.get( 'CI_PROJECT_DIR')
overrides_file_name = os.environ.get('FUZZAPI_OVERRIDES_FILE', 'api-fuzzing-overrides.json')
overrides_file_path = os.path.join(working_directory, overrides_file_name)

# [2] File name should match the pattern: gl-*.log
log_file_path = os.path.join(working_directory, 'gl-user-overrides.log')

# Set up logger
logging.basicConfig(filename=log_file_path, level=logging.DEBUG)

# Use `backoff` decorator to retry in case of transient errors.
@backoff.on_exception(backoff.expo,
                      (requests.exceptions.Timeout,
                       requests.exceptions.ConnectionError),
                       max_time=30)
def get_auth_response():
    authorization_url = 'https://authorization.service/api/get_api_token'
    return requests.get(
        f'{authorization_url}',
        auth=(os.environ.get('AUTH_USER'), os.environ.get('AUTH_PWD'))
    )

# In our example, access token is retrieved from a given endpoint
try:

    # Performs a http request, response sample:
    # { "Token" : "abcdefghijklmn" }
    response = get_auth_response()

    # Check that the request is successful. may raise `requests.exceptions.HTTPError`
    response.raise_for_status()

    # Gets JSON data
    response_body = response.json()

# If needed specific exceptions can be caught
# requests.ConnectionError                  : A network connection error problem occurred
# requests.HTTPError                        : HTTP request returned an unsuccessful status code. [Response.raise_for_status()]
# requests.ConnectTimeout                   : The request timed out while trying to connect to the remote server
# requests.ReadTimeout                      : The server did not send any data in the allotted amount of time.
# requests.TooManyRedirects                 : The request exceeds the configured number of maximum redirections
# requests.exceptions.RequestException      : All exceptions that related to Requests
except json.JSONDecodeError as json_decode_error:
    # logs errors related decoding JSON response
    logging.error(f'Error, failed while decoding JSON response. Error message: {json_decode_error}')
    raise
except requests.exceptions.RequestException as requests_error:
    # logs  exceptions  related to `Requests`
    logging.error(f'Error, failed while performing HTTP request. Error message: {requests_error}')
    raise
except Exception as e:
    # logs any other error
    logging.error(f'Error, unknown error while retrieving access token. Error message: {e}')
    raise

# computes object that holds overrides file content.
# It uses data fetched from request
overrides_data = {
    "headers": {
        "Authorization": f"Token {response_body['Token']}"
    }
}

# log entry informing about the file override computation
logging.info("Creating overrides file: %s" % overrides_file_path)

# attempts to overwrite the file
try:
    if os.path.exists(overrides_file_path):
        os.unlink(overrides_file_path)

    # overwrites the file with our updated dictionary
    with open(overrides_file_path, "wb+") as fd:
        fd.write(json.dumps(overrides_data).encode('utf-8'))
except Exception as e:
    # logs any other error
    logging.error(f'Error, unknown error when overwriting file {overrides_file_path}. Error message: {e}')
    raise

# logs informing override has finished successfully
logging.info("Override file has been updated")

# end

재정의 명령 예시에서 이 Python 스크립트는 backoff 라이브러리에 의존합니다. Python 스크립트를 실행하기 전에 이 라이브러리가 설치되어 있는지 확인하기 위해 FUZZAPI_PRE_SCRIPT를 재정의 명령의 의존성을 설치하는 스크립트로 설정합니다. 예를 들어 다음 스크립트 user-pre-scan-set-up.sh를 사용합니다.

#!/bin/bash

# user-pre-scan-set-up.sh
# Ensures python dependencies are installed

echo "**** install python dependencies ****"

sudo pip3 install --no-cache --upgrade --break-system-packages \
    requests \
    backoff

echo "**** python dependencies installed ****"

# end

새로운 user-pre-scan-set-up.sh 스크립트를 사용하도록 FUZZAPI_PRE_SCRIPT를 설정하려면 구성을 업데이트해야 합니다. 예를 들면 다음과 같습니다.

stages:
     - fuzz

include:
  - template: API-Fuzzing.gitlab-ci.yml

variables:
  FUZZAPI_PROFILE: Quick
  FUZZAPI_OPENAPI: test-api-specification.json
  FUZZAPI_TARGET_URL: http://test-deployment/
  FUZZAPI_PRE_SCRIPT: user-pre-scan-set-up.sh
  FUZZAPI_OVERRIDES_FILE: api-fuzzing-overrides.json
  FUZZAPI_OVERRIDES_CMD: renew_token.py
  FUZZAPI_OVERRIDES_INTERVAL: 300

앞의 예시에서 user-pre-scan-set-up.sh 스크립트를 사용하여 나중에 재정의 명령에서 사용할 새로운 런타임이나 애플리케이션을 설치할 수도 있습니다.

경로 제외#

API를 테스트할 때 특정 경로를 제외하면 유용할 수 있습니다. 예를 들어 인증 서비스나 이전 버전의 API에 대한 테스트를 제외할 수 있습니다. 경로를 제외하려면 FUZZAPI_EXCLUDE_PATHS CI/CD 변수를 사용합니다. 이 변수는 .gitlab-ci.yml 파일에 지정합니다. 여러 경로를 제외하려면 ; 문자로 항목을 구분합니다. 제공하는 경로에는 단일 문자 와일드카드 ?와 다중 문자 와일드카드 *를 사용할 수 있습니다.

경로가 제외되었는지 확인하려면 job 출력의 Tested Operations와 Excluded Operations 부분을 검토합니다. Tested Operations 아래에는 제외된 경로가 나열되어서는 안 됩니다.

2021-05-27 21:51:08 [INF] API Fuzzing: --[ Tested Operations ]-------------------------
2021-05-27 21:51:08 [INF] API Fuzzing: 201 POST http://target:7777/api/users CREATED
2021-05-27 21:51:08 [INF] API Fuzzing: ------------------------------------------------
2021-05-27 21:51:08 [INF] API Fuzzing: --[ Excluded Operations ]-----------------------
2021-05-27 21:51:08 [INF] API Fuzzing: GET http://target:7777/api/messages
2021-05-27 21:51:08 [INF] API Fuzzing: POST http://target:7777/api/messages
2021-05-27 21:51:08 [INF] API Fuzzing: ------------------------------------------------

경로 제외 예시#

이 예시는 /auth 리소스를 제외합니다. 자식 리소스(/auth/child)는 제외하지 않습니다.

variables:
  FUZZAPI_EXCLUDE_PATHS: /auth

/auth와 자식 리소스(/auth/child)를 제외하려면 와일드카드를 사용합니다.

variables:
  FUZZAPI_EXCLUDE_PATHS: /auth*

여러 경로를 제외하려면 ; 문자를 사용하여 경로를 구분합니다. 이 예시는 /auth*와 /v1/*를 제외하는 방법을 보여줍니다.

variables:
  FUZZAPI_EXCLUDE_PATHS: /auth*;/v1/*

매개변수 제외#

API를 테스트할 때 매개변수(쿼리 문자열, 헤더 또는 본문 요소)를 테스트에서 제외하고 싶을 수 있습니다. 매개변수가 항상 실패를 유발하거나 테스트 속도를 저하시키거나 다른 이유가 있을 때 필요할 수 있습니다. 매개변수를 제외하려면 다음 변수 중 하나를 사용할 수 있습니다. FUZZAPI_EXCLUDE_PARAMETER_ENV 또는 FUZZAPI_EXCLUDE_PARAMETER_FILE입니다.

FUZZAPI_EXCLUDE_PARAMETER_ENV를 사용하면 제외할 매개변수를 포함하는 JSON 문자열을 제공할 수 있습니다. JSON이 짧고 자주 변경되지 않는 경우 좋은 옵션입니다. 또 다른 옵션은 변수 FUZZAPI_EXCLUDE_PARAMETER_FILE입니다. 이 변수는 리포지터리에 체크인하거나, 다른 job의 아티팩트로 생성하거나, FUZZAPI_PRE_SCRIPT를 사용하는 사전 스크립트에서 런타임에 생성할 수 있는 파일 경로로 설정합니다.

JSON 문서를 사용하여 매개변수 제외#

JSON 문서에는 제외할 매개변수를 식별하는 특정 속성을 사용하는 JSON 객체가 포함됩니다. 스캐닝 프로세스 중 특정 매개변수를 제외하려면 다음 속성을 제공할 수 있습니다.

• headers: 특정 헤더를 제외하는 데 이 속성을 사용합니다. 속성의 값은 제외할 헤더 이름의 배열입니다. 이름은 대소문자를 구분하지 않습니다.
• cookies: 특정 쿠키를 제외하는 데 이 속성의 값을 사용합니다. 속성의 값은 제외할 쿠키 이름의 배열입니다. 이름은 대소문자를 구분합니다.
• query: 쿼리 문자열에서 특정 필드를 제외하는 데 이 속성을 사용합니다. 속성의 값은 제외할 쿼리 문자열의 필드 이름 배열입니다. 이름은 대소문자를 구분합니다.
• body-form: 미디어 유형 application/x-www-form-urlencoded를 사용하는 요청에서 특정 필드를 제외하는 데 이 속성을 사용합니다. 속성의 값은 제외할 본문 필드 이름의 배열입니다. 이름은 대소문자를 구분합니다.
• body-json: 미디어 유형 application/json을 사용하는 요청에서 특정 JSON 노드를 제외하는 데 이 속성을 사용합니다. 속성의 값은 배열이며, 배열의 각 항목은 JSON 경로 표현식입니다.
• body-xml: 미디어 유형 application/xml을 사용하는 요청에서 특정 XML 노드를 제외하는 데 이 속성을 사용합니다. 속성의 값은 배열이며, 배열의 각 항목은 XPath v2 표현식입니다.

다음 JSON 문서는 매개변수를 제외하는 예상 구조의 예시입니다.

{
  "headers": [
    "header1",
    "header2"
  ],
  "cookies": [
    "cookie1",
    "cookie2"
  ],
  "query": [
    "query-string1",
    "query-string2"
  ],
  "body-form": [
    "form-param1",
    "form-param2"
  ],
  "body-json": [
    "json-path-expression-1",
    "json-path-expression-2"
  ],
  "body-xml" : [
    "xpath-expression-1",
    "xpath-expression-2"
  ]
}

예시#

단일 헤더 제외#

헤더 Upgrade-Insecure-Requests를 제외하려면 header 속성의 값을 헤더 이름의 배열 [ "Upgrade-Insecure-Requests" ]로 설정합니다. 예를 들어 JSON 문서는 다음과 같습니다.

{
  "headers": [ "Upgrade-Insecure-Requests" ]
}

헤더 이름은 대소문자를 구분하지 않으므로 헤더 이름 UPGRADE-INSECURE-REQUESTS는 Upgrade-Insecure-Requests와 동일합니다.

헤더와 두 쿠키 제외#

헤더 Authorization과 쿠키 PHPSESSID, csrftoken을 제외하려면 headers 속성의 값을 헤더 이름 배열 [ "Authorization" ]로 설정하고, cookies 속성의 값을 쿠키 이름 배열 [ "PHPSESSID", "csrftoken" ]로 설정합니다. 예를 들어 JSON 문서는 다음과 같습니다.

{
  "headers": [ "Authorization" ],
  "cookies": [ "PHPSESSID", "csrftoken" ]
}

body-form 매개변수 제외#

application/x-www-form-urlencoded를 사용하는 요청에서 password 필드를 제외하려면 body-form 속성의 값을 필드 이름 배열 [ "password" ]로 설정합니다. 예를 들어 JSON 문서는 다음과 같습니다.

{
  "body-form":  [ "password" ]
}

매개변수 제외 기능은 요청이 콘텐츠 유형 application/x-www-form-urlencoded를 사용할 때 body-form을 사용합니다.

JSON 경로를 사용하여 특정 JSON 노드 제외#

루트 객체의 schema 속성을 제외하려면 body-json 속성의 값을 JSON 경로 표현식 배열 [ "$.schema" ]로 설정합니다.

JSON 경로 표현식은 JSON 노드를 식별하는 특수한 구문을 사용합니다. $는 JSON 문서의 루트를 나타내고, .은 현재 객체(여기서는 루트 객체)를 나타내며, 텍스트 schema는 속성 이름을 나타냅니다. 따라서 JSON 경로 표현식 $.schema는 루트 객체의 schema 속성을 나타냅니다. 예를 들어 JSON 문서는 다음과 같습니다.

{
  "body-json": [ "$.schema" ]
}

매개변수 제외 기능은 요청이 콘텐츠 유형 application/json을 사용할 때 body-json을 사용합니다. body-json의 각 항목은 JSON 경로 표현식이어야 합니다. JSON 경로에서는 $, *, . 등의 문자가 특별한 의미를 가집니다.

JSON 경로를 사용하여 여러 JSON 노드 제외#

루트 레벨의 users 배열에서 각 항목의 password 속성을 제외하려면 body-json 속성의 값을 JSON 경로 표현식 배열 [ "$.users[*].password" ]로 설정합니다.

이 JSON 경로 표현식은 루트 노드를 나타내는 $로 시작하고, 현재 노드를 나타내는 .을 사용합니다. 이어서 속성을 나타내는 users를 사용합니다. [와 ] 문자는 사용할 배열 인덱스를 감쌉니다. 특정 번호를 지정하는 대신 *를 사용해 임의의 인덱스를 지정할 수 있습니다. 인덱스 참조 뒤의 . 문자는 배열에서 선택된 인덱스를 나타내고, 이어서 속성 이름 password가 옵니다.

예를 들어 JSON 문서는 다음과 같습니다.

{
  "body-json": [ "$.users[*].password" ]
}

매개변수 제외 기능은 요청이 콘텐츠 유형 application/json을 사용할 때 body-json을 사용합니다. body-json의 각 항목은 JSON 경로 표현식이어야 합니다. JSON 경로에서는 $, *, . 등의 문자가 특별한 의미를 가집니다.

XML 속성 제외#

루트 요소 credentials에 있는 isEnabled라는 속성을 제외하려면 body-xml 속성의 값을 XPath 표현식 배열 [ "/credentials/@isEnabled" ]로 설정합니다.

XPath 표현식 /credentials/@isEnabled는 XML 문서의 루트를 나타내는 /로 시작하고, 이어서 일치시킬 요소의 이름인 credentials가 옵니다. /는 이전 XML 요소의 노드를 나타내고, @ 문자는 이름 isEnable이 속성이라는 것을 나타냅니다.

예를 들어 JSON 문서는 다음과 같습니다.

{
  "body-xml": [
    "/credentials/@isEnabled"
  ]
}

매개변수 제외 기능은 요청이 콘텐츠 유형 application/xml을 사용할 때 body-xml을 사용합니다. body-xml의 각 항목은 XPath v2 표현식이어야 합니다. XPath 표현식에서는 @, /, :, [, ] 등의 문자가 특별한 의미를 가집니다.

XML 요소의 텍스트 제외#

루트 노드 credentials에 포함된 username 요소의 텍스트를 제외하려면 body-xml 속성의 값을 XPath 표현식 배열 [/credentials/username/text()" ]로 설정합니다.

XPath 표현식 /credentials/username/text()에서 첫 번째 문자 /는 XML 루트 노드를 나타내고, 이어서 XML 요소 이름 credentials가 옵니다. 마찬가지로 / 문자는 현재 요소를 나타내고, 이어서 새로운 XML 요소 이름 username이 옵니다. 마지막 부분에는 현재 요소를 나타내는 /가 있고, 현재 요소의 텍스트를 식별하는 XPath 함수 text()를 사용합니다.

예를 들어 JSON 문서는 다음과 같습니다.

{
  "body-xml": [
    "/credentials/username/text()"
  ]
}

매개변수 제외 기능은 요청이 콘텐츠 유형 application/xml을 사용할 때 body-xml을 사용합니다. body-xml의 각 항목은 XPath v2 표현식이어야 합니다. XPath 표현식에서는 @, /, :, [, ] 등의 문자가 특별한 의미를 가집니다.

XML 요소 제외#

루트 노드 credentials에 포함된 요소 username을 제외하려면 body-xml 속성의 값을 XPath 표현식 배열 [/credentials/username" ]로 설정합니다.

XPath 표현식 /credentials/username에서 첫 번째 문자 /는 XML 루트 노드를 나타내고, 이어서 XML 요소 이름 credentials가 옵니다. 마찬가지로 / 문자는 현재 요소를 나타내고, 이어서 새로운 XML 요소 이름 username이 옵니다.

예를 들어 JSON 문서는 다음과 같습니다.

{
  "body-xml": [
    "/credentials/username"
  ]
}

매개변수 제외 기능은 요청이 콘텐츠 유형 application/xml을 사용할 때 body-xml을 사용합니다. body-xml의 각 항목은 XPath v2 표현식이어야 합니다. XPath 표현식에서는 @, /, :, [, ] 등의 문자가 특별한 의미를 가집니다.

네임스페이스를 가진 XML 노드 제외#

네임스페이스 s에 정의되어 있고 루트 노드 credentials에 포함된 XML 요소 login을 제외하려면 body-xml 속성의 값을 XPath 표현식 배열 [ "/credentials/s:login" ]로 설정합니다.

XPath 표현식 /credentials/s:login에서 첫 번째 문자 /는 XML 루트 노드를 나타내고, 이어서 XML 요소 이름 credentials가 옵니다. 마찬가지로 / 문자는 현재 요소를 나타내고, 이어서 새로운 XML 요소 이름 s:login이 옵니다. 이 이름에는 : 문자가 포함되어 있으며, 이 문자는 네임스페이스와 노드 이름을 구분합니다.

네임스페이스 이름은 요청 본문에 포함된 XML 문서에서 정의되어 있어야 합니다. HAR, OpenAPI 또는 Postman Collection 파일과 같은 명세 문서에서 네임스페이스를 확인할 수 있습니다.

{
  "body-xml": [
    "/credentials/s:login"
  ]
}

매개변수 제외 기능은 요청이 콘텐츠 유형 application/xml을 사용할 때 body-xml을 사용합니다. body-xml의 각 항목은 XPath v2 표현식이어야 합니다. XPath 표현식에서는 @, /, :, [, ] 등의 문자가 특별한 의미를 가집니다.

JSON 문자열 사용#

제외 JSON 문서를 제공하려면 변수 FUZZAPI_EXCLUDE_PARAMETER_ENV를 JSON 문자열로 설정합니다. 다음 .gitlab-ci.yml 예시에서는 FUZZAPI_EXCLUDE_PARAMETER_ENV 변수를 JSON 문자열로 설정합니다.

stages:
     - fuzz

include:
  - template: API-Fuzzing.gitlab-ci.yml

variables:
  FUZZAPI_PROFILE: Quick
  FUZZAPI_OPENAPI: test-api-specification.json
  FUZZAPI_TARGET_URL: http://test-deployment/
  FUZZAPI_EXCLUDE_PARAMETER_ENV: '{ "headers": [ "Upgrade-Insecure-Requests" ] }'

파일 사용#

제외 JSON 문서를 제공하려면 변수 FUZZAPI_EXCLUDE_PARAMETER_FILE을 JSON 파일 경로로 설정합니다. 파일 경로는 job의 현재 작업 디렉터리에 대한 상대 경로입니다. 다음 .gitlab-ci.yml 파일 예시에서는 FUZZAPI_EXCLUDE_PARAMETER_FILE 변수를 JSON 파일 경로로 설정합니다.

stages:
     - fuzz

include:
  - template: API-Fuzzing.gitlab-ci.yml

variables:
  FUZZAPI_PROFILE: Quick
  FUZZAPI_OPENAPI: test-api-specification.json
  FUZZAPI_TARGET_URL: http://test-deployment/
  FUZZAPI_EXCLUDE_PARAMETER_FILE: api-fuzzing-exclude-parameters.json

api-fuzzing-exclude-parameters.json은 매개변수 제외 문서의 구조를 따르는 JSON 문서입니다.

URL 제외#

경로로 제외하는 방법의 대안으로, FUZZAPI_EXCLUDE_URLS CI/CD 변수를 사용하여 URL의 다른 구성 요소로 필터링할 수 있습니다. 이 변수는 .gitlab-ci.yml 파일에 설정할 수 있습니다. 이 변수에는 쉼표(,)로 구분된 여러 값을 저장할 수 있습니다. 각 값은 정규 표현식입니다. 각 항목이 정규 표현식이므로 .*와 같은 항목은 모든 것과 일치하는 정규 표현식이기 때문에 모든 URL을 제외합니다.

job 출력에서 FUZZAPI_EXCLUDE_URLS에 제공한 정규 표현식과 일치하는 URL이 있는지 확인할 수 있습니다. 일치하는 작업은 Excluded Operations 섹션에 나열됩니다. Excluded Operations에 나열된 작업은 Tested Operations 섹션에 나열되어서는 안 됩니다. 예를 들어 다음은 job 출력의 일부입니다.

2021-05-27 21:51:08 [INF] API Fuzzing: --[ Tested Operations ]-------------------------
2021-05-27 21:51:08 [INF] API Fuzzing: 201 POST http://target:7777/api/users CREATED
2021-05-27 21:51:08 [INF] API Fuzzing: ------------------------------------------------
2021-05-27 21:51:08 [INF] API Fuzzing: --[ Excluded Operations ]-----------------------
2021-05-27 21:51:08 [INF] API Fuzzing: GET http://target:7777/api/messages
2021-05-27 21:51:08 [INF] API Fuzzing: POST http://target:7777/api/messages
2021-05-27 21:51:08 [INF] API Fuzzing: ------------------------------------------------

예시#

URL과 자식 리소스 제외#

다음 예시는 URL http://target/api/auth와 자식 리소스를 제외합니다.

stages:
  - fuzz

include:
  - template: API-Fuzzing.gitlab-ci.yml

variables:
  FUZZAPI_TARGET_URL: http://target/
  FUZZAPI_OPENAPI: test-api-specification.json
  FUZZAPI_EXCLUDE_URLS: http://target/api/auth

두 URL 제외하고 자식 리소스 허용#

URL http://target/api/buy와 http://target/api/sell을 제외하면서 자식 리소스(예: http://target/api/buy/toy 또는 http://target/api/sell/chair)는 스캔하도록 허용하려면, 값 http://target/api/buy/$,http://target/api/sell/$를 사용할 수 있습니다. 이 값은 , 문자로 구분된 두 개의 정규 표현식을 사용합니다. 따라서 http://target/api/buy$와 http://target/api/sell$를 포함합니다. 각 정규 표현식에서 후행 $ 문자는 일치하는 URL이 끝나야 하는 위치를 나타냅니다.

stages:
  - fuzz

include:
  - template: API-Fuzzing.gitlab-ci.yml

variables:
  FUZZAPI_TARGET_URL: http://target/
  FUZZAPI_OPENAPI: test-api-specification.json
  FUZZAPI_EXCLUDE_URLS: http://target/api/buy/$,http://target/api/sell/$

두 URL과 자식 리소스 제외#

URL http://target/api/buy와 http://target/api/sell, 그리고 이들의 자식 리소스를 제외합니다. 여러 URL을 제공하려면 다음과 같이 , 문자를 사용합니다.

stages:
  - fuzz

include:
  - template: API-Fuzzing.gitlab-ci.yml

variables:
  FUZZAPI_TARGET_URL: http://target/
  FUZZAPI_OPENAPI: test-api-specification.json
  FUZZAPI_EXCLUDE_URLS: http://target/api/buy,http://target/api/sell

정규 표현식을 사용하여 URL 제외#

정확히 https://target/api/v1/user/create와 https://target/api/v2/user/create 또는 다른 버전(v3, v4 등)을 제외하려면 https://target/api/v.*/user/create$를 사용할 수 있습니다. 이전 정규 표현식에서 다음과 같습니다.

• .은 임의의 문자를 나타냅니다.
• *는 0회 이상을 나타냅니다.
• $는 URL이 그 위치에서 끝나야 함을 나타냅니다.

stages:
  - fuzz

include:
  - template: API-Fuzzing.gitlab-ci.yml

variables:
  FUZZAPI_TARGET_URL: http://target/
  FUZZAPI_OPENAPI: test-api-specification.json
  FUZZAPI_EXCLUDE_URLS: https://target/api/v.*/user/create$

헤더 퍼징#

헤더 퍼징은 많은 기술 스택에서 발생하는 높은 수의 거짓 양성 때문에 기본적으로 비활성화되어 있습니다. 헤더 퍼징을 활성화하면 퍼징에 포함할 헤더 목록을 지정해야 합니다.

기본 구성 파일의 각 프로파일에는 GeneralFuzzingCheck 항목이 있습니다. 이 검사가 헤더 퍼징을 수행합니다. 헤더 퍼징을 활성화하려면 Configuration 섹션에서 HeaderFuzzing과 Headers 설정을 변경해야 합니다.

이 스니펫은 헤더 퍼징이 비활성화된 Quick-10 프로파일의 기본 구성을 보여줍니다.

- Name: Quick-10
  DefaultProfile: Empty
  Routes:
  - Route: *Route0
    Checks:
    - Name: FormBodyFuzzingCheck
      Configuration:
        FuzzingCount: 10
        UnicodeFuzzing: true
    - Name: GeneralFuzzingCheck
      Configuration:
        FuzzingCount: 10
        UnicodeFuzzing: true
        HeaderFuzzing: false
        Headers:
    - Name: JsonFuzzingCheck
      Configuration:
        FuzzingCount: 10
        UnicodeFuzzing: true
    - Name: XmlFuzzingCheck
      Configuration:
        FuzzingCount: 10
        UnicodeFuzzing: true

HeaderFuzzing은 헤더 퍼징을 켜고 끄는 부울입니다. 기본 설정은 끄기를 의미하는 false입니다. 헤더 퍼징을 켜려면 이 설정을 true로 변경합니다.

    - Name: GeneralFuzzingCheck
      Configuration:
        FuzzingCount: 10
        UnicodeFuzzing: true
        HeaderFuzzing: true
        Headers:

Headers는 퍼징할 헤더의 목록입니다. 나열된 헤더만 퍼징됩니다. API에서 사용하는 헤더를 퍼징하려면 - Name: HeaderName 구문을 사용하여 항목을 추가합니다. 예를 들어 사용자 지정 헤더 X-Custom을 퍼징하려면 - Name: X-Custom을 추가합니다.

    - Name: GeneralFuzzingCheck
      Configuration:
        FuzzingCount: 10
        UnicodeFuzzing: true
        HeaderFuzzing: true
        Headers:
          - Name: X-Custom

이제 헤더 X-Custom을 퍼징하는 구성이 생겼습니다. 동일한 표기법을 사용하여 헤더를 추가로 나열합니다.

    - Name: GeneralFuzzingCheck
      Configuration:
        FuzzingCount: 10
        UnicodeFuzzing: true
        HeaderFuzzing: true
        Headers:
          - Name: X-Custom
          - Name: X-AnotherHeader

필요에 따라 각 프로파일에 대해 이 구성을 반복합니다.