Remove Duplicates 노드를 사용하여 다음과 같은 항목을 식별하고 삭제합니다:

• 단일 실행에서 모든 필드 또는 필드 하위 집합에 걸쳐 동일한 항목
• 이전 실행에서 확인된 항목과 동일하거나 초과된 항목

이는 사용자가 여러 계정을 만들거나 고객이 동일한 주문을 여러 번 제출하는 것과 같이 중복 데이터가 발생할 수 있는 상황에서 유용합니다. 대규모 데이터 집합으로 작업할 때는 이러한 항목을 발견하고 제거하기가 더 어려워집니다.

이전 실행의 데이터와 비교함으로써 Remove Duplicates 노드는 이전 실행에서 발견된 항목을 삭제할 수 있습니다. 또한 새 항목이 이전 값보다 더 늦은 날짜 또는 더 높은 값을 가지고 있는지 확인할 수 있습니다.

작업 모드#

Remove Duplicates 노드는 operation 파라미터 값에 따라 다르게 작동합니다:

• Remove Items Repeated Within Current Input: 모든 필드 또는 필드 하위 집합에 걸쳐 현재 입력에서 중복 항목을 식별하고 제거합니다.
• Remove Items Processed in Previous Executions: 현재 입력의 항목을 이전 실행의 항목과 비교하여 중복을 제거합니다.
• Clear Deduplication History: 이전 실행에서 가져온 항목의 메모리를 지웁니다.

현재 입력에서 반복된 항목 제거#

"Operations" 필드를 Remove Items Repeated Within Current Input으로 설정하면 Remove Duplicates 노드가 현재 입력에서 중복 항목을 식별하고 제거합니다. 모든 필드 또는 필드 하위 집합에서 이 작업을 수행할 수 있습니다.

현재 입력에서 반복된 항목 제거 파라미터#

Remove Items Repeated Within Current Input 작업을 사용할 때 다음 파라미터를 사용할 수 있습니다:

• Compare: n8n이 동일한지 확인하기 위해 비교할 입력 데이터의 필드를 선택합니다. 다음 옵션을 사용할 수 있습니다:
  • All Fields: 입력 데이터의 모든 필드를 비교합니다.
  • All Fields Except: n8n이 비교에서 제외할 입력 데이터 필드를 입력합니다. 쉼표로 구분하여 여러 값을 제공할 수 있습니다.
  • Selected Fields: n8n이 비교에 포함할 입력 데이터 필드를 입력합니다. 쉼표로 구분하여 여러 값을 제공할 수 있습니다.

현재 입력에서 반복된 항목 제거 옵션#

비교 유형으로 All Fields Except 또는 Selected Fields를 선택한 경우 다음 옵션을 추가할 수 있습니다:

• Disable Dot Notation: parent.child 형식의 하위 필드 참조에 점 표기법을 사용(꺼짐)할지 여부를 설정합니다.
• Remove Other Fields: 비교에 사용되지 않는 필드를 제거(켜짐)할지 여부를 설정합니다.

이전 실행에서 처리된 항목 제거#

"Operation" 필드를 Remove Items Processed in Previous Executions로 설정하면 Remove Duplicates 노드가 현재 입력의 항목을 이전 실행의 항목과 비교합니다.

이전 실행에서 처리된 항목 제거 파라미터#

Remove Items Processed in Previous Executions 작업을 사용할 때 다음 파라미터를 사용할 수 있습니다:

• Keep Items Where: n8n이 보관할 항목을 결정하는 방법을 선택합니다. 다음 옵션을 사용할 수 있습니다:

  • Value Is New: n8n이 이전 실행의 항목과 값이 일치하는 항목을 제거합니다.
  • Value Is Higher than Any Previous Value: n8n이 현재 값이 이전 값보다 높지 않은 항목을 제거합니다.
  • Value Is a Date Later than Any Previous Date: n8n이 현재 날짜가 이전 날짜보다 늦지 않은 날짜 항목을 제거합니다.

• Value to Dedupe On: 비교할 입력 필드 또는 필드 조합입니다. Keep Items Where 파라미터에 선택한 옵션에 따라 정확한 형식이 결정됩니다:

  • Value Is New를 사용할 때, 이는 고유 ID가 있는 입력 필드 또는 필드 조합이어야 합니다.
  • Value Is Higher than Any Previous Value를 사용할 때, 이는 증가하는 값을 가진 입력 필드 또는 필드 조합이어야 합니다.
  • Value Is a Date Later than Any Previous Date를 사용할 때, 이는 ISO 형식의 날짜 값을 가진 입력 필드여야 합니다.

이전 실행에서 처리된 항목 제거 옵션#

Remove Items Processed in Previous Executions 작업을 사용할 때 다음 옵션을 사용할 수 있습니다:

• Scope: n8n이 비교를 위해 중복 제거 데이터를 저장하고 사용하는 방법을 설정합니다. 다음 옵션을 사용할 수 있습니다:
  • Node: (기본값) 워크플로의 다른 Remove Duplicates 인스턴스와 독립적으로 이 노드의 데이터를 저장합니다. 이 범위를 사용하면 다른 노드에 영향을 주지 않고 이 노드 인스턴스의 중복 제거 기록을 지울 수 있습니다.
  • Workflow: 워크플로 수준에서 중복 데이터를 저장합니다. "workflow" 범위를 사용하도록 설정된 다른 Remove Duplicates 노드와 중복 데이터를 공유합니다. n8n은 "node" 범위로 설정된 다른 Remove Duplicates 노드의 중복 데이터를 독립적으로 관리합니다.

Keep Items Where 선택으로 Value Is New를 선택하면 이 옵션도 사용 가능합니다:

• History Size: 실행 전반에 걸쳐 중복을 추적하기 위해 n8n이 저장하는 항목 수입니다. Scope 옵션의 값에 따라 이 기록 크기가 이 개별 Remove Duplicates 노드 인스턴스에만 적용되는지 아니면 워크플로의 다른 인스턴스와 공유되는지가 결정됩니다. 기본적으로 n8n은 10,000개의 항목을 저장합니다.

중복 제거 기록 지우기#

"Operation" 필드를 Clear Deduplication History로 설정하면 Remove Duplicates 노드가 이전 실행에서 저장된 항목을 관리하고 지웁니다. 이 작업은 현재 입력의 항목에 영향을 주지 않습니다. 대신 "Remove Items Processed in Previous Executions" 작업이 사용하는 항목 데이터베이스를 관리합니다.

중복 제거 기록 지우기 파라미터#

Clear Deduplication History 작업을 사용할 때 다음 파라미터를 사용할 수 있습니다:

• Mode: 데이터베이스에 저장된 키/값 항목을 관리하는 방법입니다. 다음 옵션을 사용할 수 있습니다:
  • Clean Database: 데이터베이스에 저장된 모든 중복 데이터를 삭제합니다. 중복 데이터베이스를 원래 상태로 재설정합니다.

중복 제거 기록 지우기 옵션#

Clear Deduplication History 작업을 사용할 때 다음 옵션을 사용할 수 있습니다:

• Scope: 중복 데이터베이스를 관리할 때 n8n이 사용하는 범위를 설정합니다.
  • Node: (기본값) 이 Remove Duplicates 노드 인스턴스에 특정한 중복 데이터베이스를 관리합니다.
  • Workflow: 워크플로 범위를 사용하는 모든 Remove Duplicates 노드 인스턴스가 공유하는 중복 데이터베이스를 관리합니다.

템플릿 및 예시#

Remove Duplicates 노드를 사용하는 템플릿과 사용 예시는 템플릿 및 예시를 참조하세요.

관련 리소스#

n8n 워크플로우의 데이터 구조 및 데이터 흐름에 대해 자세히 알아보세요.