Remove Duplicates 노드를 사용하면 다음과 같은 항목을 식별하고 삭제할 수 있습니다.

• 단일 실행 내에서 모든 필드 또는 일부 필드가 동일한 항목
• 이전 실행에서 확인된 항목과 동일하거나 그 값을 넘어서지 못한 항목

이는 사용자가 여러 개의 계정을 생성하거나 고객이 동일한 주문을 여러 번 제출하는 경우처럼 중복 데이터가 발생할 수 있는 상황에서 유용합니다. 대규모 데이터셋을 다룰 때는 이러한 항목을 발견하고 제거하기가 더욱 어려워집니다.

Remove Duplicates 노드는 이전 실행의 데이터와 비교하여 앞선 실행에서 확인된 항목을 삭제할 수 있습니다. 또한 새로운 항목이 이전 값보다 더 늦은 날짜이거나 더 높은 값을 갖도록 보장할 수도 있습니다.

작업 모드#

Remove Duplicates 노드는 operation 매개변수의 값에 따라 다르게 동작합니다.

• Remove Items Repeated Within Current Input: 현재 입력에서 모든 필드 또는 일부 필드를 기준으로 중복 항목을 식별하고 제거합니다.
• Remove Items Processed in Previous Executions: 현재 입력의 항목을 이전 실행의 항목과 비교하여 중복을 제거합니다.
• Clear Deduplication History: 이전 실행에서 저장된 항목의 메모리를 삭제합니다.

현재 입력 내 중복 항목 제거#

"Operations" 필드를 Remove Items Repeated Within Current Input으로 설정하면 Remove Duplicates 노드는 현재 입력에서 중복 항목을 식별하고 제거합니다. 이 작업은 모든 필드를 기준으로 하거나 일부 필드를 기준으로 수행할 수 있습니다.

Remove Items Repeated Within Current Input 매개변수#

Remove Items Repeated Within Current Input 작업을 사용할 때는 다음 매개변수를 사용할 수 있습니다.

• Compare: 동일 여부를 확인하기 위해 n8n이 비교할 입력 데이터의 필드를 선택합니다. 다음 옵션을 사용할 수 있습니다.
  • All Fields: 입력 데이터의 모든 필드를 비교합니다.
  • All Fields Except: n8n이 비교에서 제외할 입력 데이터 필드를 입력합니다. 쉼표로 구분하여 여러 값을 지정할 수 있습니다.
  • Selected Fields: n8n이 비교에 포함할 입력 데이터 필드를 입력합니다. 쉼표로 구분하여 여러 값을 지정할 수 있습니다.

Remove Items Repeated Within Current Input 옵션#

비교 유형으로 All Fields Except 또는 Selected Fields를 선택하면 다음 옵션을 추가할 수 있습니다.

• Disable Dot Notation: parent.child 형식으로 하위 필드를 참조하는 점 표기법(dot notation)을 사용할지(끄기) 사용하지 않을지(켜기)를 설정합니다.
• Remove Other Fields: 비교에 사용되지 않은 필드를 제거할지(켜기) 여부를 설정합니다(끄기).

이전 실행에서 처리된 항목 제거#

"Operation" 필드를 Remove Items Processed in Previous Executions로 설정하면 Remove Duplicates 노드는 현재 입력의 항목을 이전 실행의 항목과 비교합니다.

Remove Items Processed in Previous Executions 매개변수#

Remove Items Processed in Previous Executions 작업을 사용할 때는 다음 매개변수를 사용할 수 있습니다.

• Keep Items Where: n8n이 어떤 항목을 유지할지 결정하는 방식을 선택합니다. 다음 옵션을 사용할 수 있습니다.

  • Value Is New: 값이 이전 실행의 항목과 일치하면 n8n이 해당 항목을 제거합니다.
  • Value Is Higher than Any Previous Value: 현재 값이 이전 값보다 높지 않으면 n8n이 해당 항목을 제거합니다.
  • Value Is a Date Later than Any Previous Date: 현재 날짜가 이전 날짜보다 늦지 않으면 n8n이 해당 날짜 항목을 제거합니다.

• Value to Dedupe On: 비교할 입력 필드입니다. Keep Items Where 매개변수에서 선택한 옵션에 따라 필요한 정확한 형식이 결정됩니다.

  • Value Is New를 사용할 때는 고유 ID를 가진 입력 필드 또는 필드 조합이어야 합니다.
  • Value Is Higher than Any Previous Value를 사용할 때는 증분 값을 갖는 입력 필드 또는 필드 조합이어야 합니다.
  • Value Is a Date Later than Any Previous Date를 사용할 때는 ISO 형식의 날짜 값을 갖는 입력 필드여야 합니다.

Remove Items Processed in Previous Executions 옵션#

Remove Items Processed in Previous Executions 작업을 사용할 때는 다음 옵션을 사용할 수 있습니다.

• Scope: n8n이 비교를 위해 중복 제거 데이터를 저장하고 사용하는 방식을 설정합니다. 다음 옵션을 사용할 수 있습니다.
  • Node: (기본값) 워크플로 내의 다른 Remove Duplicates 인스턴스와 독립적으로 이 노드의 데이터를 저장합니다. 이 범위를 사용하면 다른 노드에 영향을 주지 않고 이 노드 인스턴스의 중복 기록을 삭제할 수 있습니다.
  • Workflow: 중복 제거 데이터를 워크플로 수준에서 저장합니다. 이는 "workflow" 범위를 사용하도록 설정된 다른 모든 Remove Duplicates 노드와 중복 제거 데이터를 공유합니다. "node" 범위로 설정된 다른 Remove Duplicates 노드의 중복 제거 데이터는 n8n이 계속 독립적으로 관리합니다.

Keep Items Where 선택 항목으로 Value Is New를 선택하면 다음 옵션도 사용할 수 있습니다.

• History Size: 실행 전반에 걸쳐 중복을 추적하기 위해 n8n이 저장하는 항목의 개수입니다. 이 기록 크기가 개별 Remove Duplicates 노드 인스턴스에만 적용되는지 아니면 워크플로 내 다른 인스턴스와 공유되는지는 Scope 옵션의 값에 따라 결정됩니다. 기본적으로 n8n은 10,000개의 항목을 저장합니다.

중복 제거 기록 지우기#

"Operation" 필드를 Clear Deduplication History로 설정하면 Remove Duplicates 노드는 이전 실행에서 저장된 항목을 관리하고 삭제합니다. 이 작업은 현재 입력의 항목에는 영향을 주지 않습니다. 대신 "Remove Items Processed in Previous Executions" 작업이 사용하는 항목 데이터베이스를 관리합니다.

Clear Deduplication History 매개변수#

Clear Deduplication History 작업을 사용할 때는 다음 매개변수를 사용할 수 있습니다.

• Mode: 데이터베이스에 저장된 키/값 항목을 관리하는 방식입니다. 다음 옵션을 사용할 수 있습니다.
  • Clean Database: 데이터베이스에 저장된 모든 중복 제거 데이터를 삭제합니다. 이는 중복 제거 데이터베이스를 원래 상태로 재설정합니다.

Clear Deduplication History 옵션#

Clear Deduplication History 작업을 사용할 때는 다음 옵션을 사용할 수 있습니다.

• Scope: n8n이 중복 제거 데이터베이스를 관리할 때 사용하는 범위를 설정합니다.
  • Node: (기본값) 이 Remove Duplicates 노드 인스턴스에 한정된 중복 제거 데이터베이스를 관리합니다.
  • Workflow: 워크플로 범위를 사용하는 모든 Remove Duplicates 노드 인스턴스가 공유하는 중복 제거 데이터베이스를 관리합니다.

템플릿과 예제#

Remove Duplicates 노드를 사용하는 템플릿과 사용 예제는 템플릿과 예제를 참고하세요.

관련 리소스#