Kafka는 고성능 데이터 파이프라인, 스트리밍 분석, 데이터 통합, 미션 크리티컬 애플리케이션에 사용할 수 있는 오픈 소스 분산 이벤트 스트리밍 플랫폼입니다.

Kafka Trigger 버전 2 프리뷰#

Kafka Trigger 버전 2는 librdkafka 기반으로 Confluent가 지원하는 클라이언트인 @confluentinc/kafka-javascript에서 실행됩니다. 버전 1이 사용하는, 더 이상 유지보수되지 않는 라이브러리인 kafkajs를 대체합니다. 이 트리거는 버전 1과 같은 필드와 자격 증명을 유지하며, 다음 두 가지 동작이 추가됩니다.

• 모든 코덱(GZIP, LZ4, Snappy, Zstd)으로 압축된 메시지를 디코딩합니다. 버전 1은 압축되지 않은 메시지와 GZIP 메시지만 처리합니다.
• 워크플로를 게시할 때 연결을 확인합니다. 토픽이 없거나 컨슈머가 그룹에 참여할 수 없으면, 트리거가 아무것도 소비하지 않는 대신 게시가 명확한 오류와 함께 실패합니다.

프리뷰 기간에는 버전 2가 기본적으로 비활성화되어 있습니다. 노드 패널에서 추가한 트리거는 버전 1.3으로 유지되며, 에디터에는 버전 선택기가 없습니다. 사용하려면 Kafka Trigger 노드의 "typeVersion": 2가 지정된 워크플로 JSON을 가져옵니다. n8n은 공식 n8n Docker 이미지에서 amd64와 arm64 모두 프리뷰를 검증했습니다. 버전 2에는 네이티브로 컴파일된 구성 요소가 포함되어 있으므로, npm이나 커스텀 이미지 같은 다른 설치 방법은 프리뷰 기간에 검증되지 않았습니다.

버전 1과 버전 2의 클라이언트 라이브러리는 함께 컨슈머 그룹을 구성할 수 없으므로, 목적에 맞게 컨슈머 그룹 ID를 선택하세요.

• 버전 1과 버전 2를 나란히 실행하려면 버전 2 트리거에 별도의 컨슈머 그룹 ID를 지정합니다. 그러면 두 트리거는 서로 독립적으로 동작하며, 각각 토픽의 모든 메시지를 수신합니다.
• 버전 2로 마이그레이션하려면 같은 컨슈머 그룹 ID를 유지하되 한 번에 트리거 하나만 실행합니다. 먼저 버전 1 워크플로의 게시를 취소한 다음 버전 2 워크플로를 게시합니다. 커밋된 위치부터 재개되므로 메시지를 다시 처리하거나 건너뛰지 않습니다.
• 같은 컨슈머 그룹 ID로 두 트리거를 모두 게시하지 마세요. 버전 2 트리거는 눈에 띄는 오류와 함께 게시에 실패하지만, 그 오류에 의존하지 말고 그룹 ID를 미리 설정하세요.

워크플로를 버전 2로 전환하기 전에 롤백 지점으로 사용할 사본을 다운로드하세요. 롤백하려면 버전 2 노드를 삭제하고 패널에서 새 Kafka Trigger 노드를 추가하거나(기본값은 버전 1.3), 프리뷰 이전에 내보낸 파일을 복원합니다.