InfoGrab DocsInfoGrab Docs

AWS에서 스케일링 및 고가용성 운영

요약

terraform-aws-n8n 모듈은 기본적으로 큐 모드로 n8n을 배포하며, 고가용성을 위해 멀티 메인 설정을 사용합니다. 기본적으로 모듈은 메인 Pod를 둘 이상 실행하며 Enterprise 라이선스가 필요합니다.

terraform-aws-n8n 모듈은 기본적으로 큐 모드로 n8n을 배포하며, 고가용성을 위해 멀티 메인 설정을 사용합니다. 이 페이지에서는 해당 토폴로지에 대한 모듈 고유 설정인 멀티 메인 라이선스, 워커 오토스케일링, Redis 고가용성을 다룹니다.

멀티 메인 설정#

기본적으로 모듈은 메인 Pod를 둘 이상 실행하며 Enterprise 라이선스가 필요합니다. n8n_main_hpa_min_replicas = 1로 설정하면 메인 Pod 하나만 실행합니다. 이 모드에서는 n8n의 멀티 메인 리더 선출 기능이 비활성화되므로 Business 플랜 라이선스만 필요합니다.

Warning

단일 메인 모드는 업그레이드 시 다운타임이 있습니다

n8n_main_hpa_min_replicas = 1로 설정하면 메인 Pod의 오토스케일링 최댓값이 1로 고정되고, 업그레이드에 Recreate 전략이 사용되며, Pod 중단 예산(pod disruption budget)이 유일한 메인의 퇴출을 허용합니다. 업그레이드 및 유지 관리 중에는 에디터, REST API, 예약 트리거에 다운타임이 발생할 수 있습니다. 유지 관리 시간대를 계획하세요.

메인 Pod 앞단의 모든 로드 밸런서나 인그레스에는 브라우저가 하나의 메인 Pod에 계속 연결되도록 세션 지속성(sticky session)을 활성화해야 합니다. 모듈의 자체 인그레스는 기본적으로 이를 설정합니다. 자체 인그레스를 사용하는 경우 AWS 인프라 사용자 지정을 참조하세요.

워커 오토스케일링#

워커 Pod는 모듈이 자동으로 설치하는 KEDA를 사용해 Redis 큐 깊이에 따라 스케일링됩니다. 워커의 오토스케일러가 Redis에 연결할 수 있는지 확인하려면 다음을 실행합니다.

kubectl -n n8n get scaledobject

스케일러가 정상이면 READY=True로 표시됩니다. READY=False로 표시되면 KEDA 오퍼레이터 로그에서 원인을 확인하세요.

kubectl -n keda logs -l app=keda-operator | grep -i 'connection to redis'
Note

워커 HPA의 TARGETS 열은 오해를 일으킬 수 있습니다

KEDA 기반 워커 HPA의 경우 오토스케일링이 정상적으로 동작하는 중에도 kubectl get hpa의 TARGETS 열에 <unknown>이 표시되는 경우가 많습니다. 스케일러 상태를 확인하려면 kubectl get scaledobject를 대신 사용하세요.

Redis 전송 중 암호화를 활성화하면 KEDA의 큐 깊이 트리거도 워커와 동일한 암호화 및 인증 연결을 자동으로 사용합니다.

Redis 고가용성#

기본적으로 모듈은 Redis를 단일 노드 aws_elasticache_cluster로 프로비저닝하며, 이는 워커 큐와 멀티 메인 리더 선출 모두에 단일 장애 지점이 됩니다. redis_high_availability_enabled = true로 설정하면 대신 두 가용 영역에 걸쳐 자동 장애 조치가 되는 복제 그룹(기본 노드 하나와 복제본 하나)을 프로비저닝합니다.

module "n8n" {
  # ...
  redis_high_availability_enabled = true
  redis_node_type                 = "cache.r6g.large"
}

두 노드 모두 redis_node_type을 사용하므로 고가용성을 활성화하면 Redis 비용이 대략 두 배가 됩니다.

Warning

고가용성이 Pod 재시작을 막지는 않습니다

Redis 장애 조치는 약 20초 안에 복제본을 승격하지만 Redis 복제는 비동기이므로, 복제본이 받지 못한 최근 큐 쓰기는 손실될 수 있습니다. 또한 모든 메인, 워커, 웹훅 Pod는 여전히 재시작됩니다. n8n의 Redis 클라이언트는 Redis에 QUEUE_BULL_REDIS_TIMEOUT_THRESHOLD(기본값 10초)보다 오래 연결할 수 없으면 프로세스를 종료하기 때문입니다. 이는 크래시 루프가 아니라 빠른 실패(fail-fast) 설계입니다. 쿠버네티스가 각 Pod를 즉시 다시 띄우며, Redis를 사용할 수 있다면 복구는 보통 1분 안에 완료됩니다.

장애 조치 중 재시작 방지#

n8n이 종료하기 전에 Redis를 기다리는 시간을 늘리려면 n8n_redis_timeout_threshold를 설정합니다. 연결 시도가 한 번 실패할 때마다 약 11.1초(재시도 간격 1초와 연결 타임아웃 10초)가 걸리므로, 실제로 쓸 수 있는 시간은 설정한 값보다 거칠게 나뉩니다.

설정값 실제 허용 시간 종료 전 재연결 시도 횟수
10000 (기본값) 11.1초 1
30000 33.2초 3
60000 66.4초 6

장애 조치 후 오래된 Redis 엔드포인트는 DNS 캐싱 때문에 장애 조치 자체보다 확인에 더 오래 걸릴 수 있습니다. 임곗값을 60000으로 설정하면 실제로 이 문제가 해소되며, Pod는 재시작하는 대신 Recovered Redis connection을 로그에 남깁니다.

module "n8n" {
  # ...
  redis_high_availability_enabled = true
  n8n_redis_timeout_threshold     = 60000
}

이는 공짜로 얻는 이점이 아니라 절충입니다. 같은 임곗값이 Pod가 실제로 중단된 Redis에 대해 재시작하기 전까지 기다리는 시간도 결정하기 때문입니다. 워커의 경우 어느 쪽이든 Redis에 연결할 수 없을 때는 재시작이 도움이 되지 않으므로 보통 받아들일 만한 절충입니다.

토폴로지 전환#

운영 중인 배포에서 redis_high_availability_enabled를 전환하면 기존 캐시가 삭제되고 새 캐시가 생성됩니다. 그 시점에 큐에 있거나 진행 중이던 모든 작업은 손실됩니다. 이를 유지 관리 시간대 작업으로 취급하세요. n8n으로 새 작업이 유입되지 않도록 막고, 워커가 작업을 모두 처리하도록 한 다음, 적용하기 전에 Redis에서 bull:jobs:wait, bull:jobs:active, bull:jobs:delayed가 모두 비어 있는지 확인합니다.

Redis 제거 정책#

모듈은 ElastiCache의 기본값인 volatile-lru 대신 Redis의 maxmemory-policy를 noeviction(redis_maxmemory_policy)으로 설정합니다. 메모리 부족 상태에서 noeviction Redis는 작업 잠금과 같은 큐 키를 조용히 제거하는 대신 메모리 부족 오류와 함께 새 쓰기를 거부합니다. 따라서 Redis가 가득 차면 큐 데이터가 이유 없이 사라지는 대신 쓰기 실패와 작업 잠금 갱신 실패로 드러납니다. 큐와 n8n의 캐시가 같은 인스턴스를 공유하므로 두 가지를 함께 고려해 Redis 메모리를 계획하세요.

Redis 전송 중 암호화 및 AUTH#

기본적으로 Redis는 VPC 트래픽만 허용하는 보안 그룹 뒤의 프라이빗 서브넷에 위치하며 TLS와 비밀번호가 없습니다. redis_transit_encryption_enabled = true로 설정하면 둘 다 추가됩니다. 모듈이 TLS를 활성화하고 AUTH 토큰을 생성해 모든 n8n 컨테이너에 연결합니다.

terraform output -raw redis_auth_token

관련 리소스#

AWS에서 스케일링 및 고가용성 운영

n8n v2.47
원문 보기

요약

terraform-aws-n8n 모듈은 기본적으로 큐 모드로 n8n을 배포하며, 고가용성을 위해 멀티 메인 설정을 사용합니다. 기본적으로 모듈은 메인 Pod를 둘 이상 실행하며 Enterprise 라이선스가 필요합니다.

terraform-aws-n8n 모듈은 기본적으로 큐 모드로 n8n을 배포하며, 고가용성을 위해 멀티 메인 설정을 사용합니다. 이 페이지에서는 해당 토폴로지에 대한 모듈 고유 설정인 멀티 메인 라이선스, 워커 오토스케일링, Redis 고가용성을 다룹니다.

멀티 메인 설정#

기본적으로 모듈은 메인 Pod를 둘 이상 실행하며 Enterprise 라이선스가 필요합니다. n8n_main_hpa_min_replicas = 1로 설정하면 메인 Pod 하나만 실행합니다. 이 모드에서는 n8n의 멀티 메인 리더 선출 기능이 비활성화되므로 Business 플랜 라이선스만 필요합니다.

Warning

단일 메인 모드는 업그레이드 시 다운타임이 있습니다

n8n_main_hpa_min_replicas = 1로 설정하면 메인 Pod의 오토스케일링 최댓값이 1로 고정되고, 업그레이드에 Recreate 전략이 사용되며, Pod 중단 예산(pod disruption budget)이 유일한 메인의 퇴출을 허용합니다. 업그레이드 및 유지 관리 중에는 에디터, REST API, 예약 트리거에 다운타임이 발생할 수 있습니다. 유지 관리 시간대를 계획하세요.

메인 Pod 앞단의 모든 로드 밸런서나 인그레스에는 브라우저가 하나의 메인 Pod에 계속 연결되도록 세션 지속성(sticky session)을 활성화해야 합니다. 모듈의 자체 인그레스는 기본적으로 이를 설정합니다. 자체 인그레스를 사용하는 경우 AWS 인프라 사용자 지정을 참조하세요.

워커 오토스케일링#

워커 Pod는 모듈이 자동으로 설치하는 KEDA를 사용해 Redis 큐 깊이에 따라 스케일링됩니다. 워커의 오토스케일러가 Redis에 연결할 수 있는지 확인하려면 다음을 실행합니다.

kubectl -n n8n get scaledobject

스케일러가 정상이면 READY=True로 표시됩니다. READY=False로 표시되면 KEDA 오퍼레이터 로그에서 원인을 확인하세요.

kubectl -n keda logs -l app=keda-operator | grep -i 'connection to redis'
Note

워커 HPA의 TARGETS 열은 오해를 일으킬 수 있습니다

KEDA 기반 워커 HPA의 경우 오토스케일링이 정상적으로 동작하는 중에도 kubectl get hpa의 TARGETS 열에 <unknown>이 표시되는 경우가 많습니다. 스케일러 상태를 확인하려면 kubectl get scaledobject를 대신 사용하세요.

Redis 전송 중 암호화를 활성화하면 KEDA의 큐 깊이 트리거도 워커와 동일한 암호화 및 인증 연결을 자동으로 사용합니다.

Redis 고가용성#

기본적으로 모듈은 Redis를 단일 노드 aws_elasticache_cluster로 프로비저닝하며, 이는 워커 큐와 멀티 메인 리더 선출 모두에 단일 장애 지점이 됩니다. redis_high_availability_enabled = true로 설정하면 대신 두 가용 영역에 걸쳐 자동 장애 조치가 되는 복제 그룹(기본 노드 하나와 복제본 하나)을 프로비저닝합니다.

module "n8n" {
  # ...
  redis_high_availability_enabled = true
  redis_node_type                 = "cache.r6g.large"
}

두 노드 모두 redis_node_type을 사용하므로 고가용성을 활성화하면 Redis 비용이 대략 두 배가 됩니다.

Warning

고가용성이 Pod 재시작을 막지는 않습니다

Redis 장애 조치는 약 20초 안에 복제본을 승격하지만 Redis 복제는 비동기이므로, 복제본이 받지 못한 최근 큐 쓰기는 손실될 수 있습니다. 또한 모든 메인, 워커, 웹훅 Pod는 여전히 재시작됩니다. n8n의 Redis 클라이언트는 Redis에 QUEUE_BULL_REDIS_TIMEOUT_THRESHOLD(기본값 10초)보다 오래 연결할 수 없으면 프로세스를 종료하기 때문입니다. 이는 크래시 루프가 아니라 빠른 실패(fail-fast) 설계입니다. 쿠버네티스가 각 Pod를 즉시 다시 띄우며, Redis를 사용할 수 있다면 복구는 보통 1분 안에 완료됩니다.

장애 조치 중 재시작 방지#

n8n이 종료하기 전에 Redis를 기다리는 시간을 늘리려면 n8n_redis_timeout_threshold를 설정합니다. 연결 시도가 한 번 실패할 때마다 약 11.1초(재시도 간격 1초와 연결 타임아웃 10초)가 걸리므로, 실제로 쓸 수 있는 시간은 설정한 값보다 거칠게 나뉩니다.

설정값 실제 허용 시간 종료 전 재연결 시도 횟수
10000 (기본값) 11.1초 1
30000 33.2초 3
60000 66.4초 6

장애 조치 후 오래된 Redis 엔드포인트는 DNS 캐싱 때문에 장애 조치 자체보다 확인에 더 오래 걸릴 수 있습니다. 임곗값을 60000으로 설정하면 실제로 이 문제가 해소되며, Pod는 재시작하는 대신 Recovered Redis connection을 로그에 남깁니다.

module "n8n" {
  # ...
  redis_high_availability_enabled = true
  n8n_redis_timeout_threshold     = 60000
}

이는 공짜로 얻는 이점이 아니라 절충입니다. 같은 임곗값이 Pod가 실제로 중단된 Redis에 대해 재시작하기 전까지 기다리는 시간도 결정하기 때문입니다. 워커의 경우 어느 쪽이든 Redis에 연결할 수 없을 때는 재시작이 도움이 되지 않으므로 보통 받아들일 만한 절충입니다.

토폴로지 전환#

운영 중인 배포에서 redis_high_availability_enabled를 전환하면 기존 캐시가 삭제되고 새 캐시가 생성됩니다. 그 시점에 큐에 있거나 진행 중이던 모든 작업은 손실됩니다. 이를 유지 관리 시간대 작업으로 취급하세요. n8n으로 새 작업이 유입되지 않도록 막고, 워커가 작업을 모두 처리하도록 한 다음, 적용하기 전에 Redis에서 bull:jobs:wait, bull:jobs:active, bull:jobs:delayed가 모두 비어 있는지 확인합니다.

Redis 제거 정책#

모듈은 ElastiCache의 기본값인 volatile-lru 대신 Redis의 maxmemory-policy를 noeviction(redis_maxmemory_policy)으로 설정합니다. 메모리 부족 상태에서 noeviction Redis는 작업 잠금과 같은 큐 키를 조용히 제거하는 대신 메모리 부족 오류와 함께 새 쓰기를 거부합니다. 따라서 Redis가 가득 차면 큐 데이터가 이유 없이 사라지는 대신 쓰기 실패와 작업 잠금 갱신 실패로 드러납니다. 큐와 n8n의 캐시가 같은 인스턴스를 공유하므로 두 가지를 함께 고려해 Redis 메모리를 계획하세요.

Redis 전송 중 암호화 및 AUTH#

기본적으로 Redis는 VPC 트래픽만 허용하는 보안 그룹 뒤의 프라이빗 서브넷에 위치하며 TLS와 비밀번호가 없습니다. redis_transit_encryption_enabled = true로 설정하면 둘 다 추가됩니다. 모듈이 TLS를 활성화하고 AUTH 토큰을 생성해 모든 n8n 컨테이너에 연결합니다.

terraform output -raw redis_auth_token

관련 리소스#