다음은 Remove Duplicates 노드에 대한 몇 가지 템플릿과 예제입니다.

템플릿#

Remove Duplicates 노드 템플릿 및 예제 통합 템플릿 둘러보기 또는 모든 템플릿 검색

Code node를 사용하여 샘플 데이터 설정하기#

Remove Duplicates 노드를 사용해 보기 위해 예제 입력 데이터가 포함된 워크플로를 만듭니다.

1. 캔버스에 Code node를 추가하고 Manual Trigger 노드에 연결합니다.
2. Code node에서 Mode를 Run Once for Each Item으로, Language를 JavaScript로 설정합니다.
3. JavaScript 필드에 다음 JavaScript 코드 스니펫을 붙여넣습니다.

let data =[];

return {
  data: [
    { id: 1, name: 'Taylor Swift', job: 'Pop star', last_updated: '2024-09-20T10:12:43.493Z' },
    { id: 2, name: 'Ed Sheeran', job: 'Singer-songwriter', last_updated: '2024-10-05T08:30:59.493Z' },
    { id: 3, name: 'Adele', job: 'Singer-songwriter', last_updated: '2024-10-07T14:15:59.493Z' },
    { id: 4, name: 'Bruno Mars', job: 'Singer-songwriter', last_updated: '2024-08-25T17:45:12.493Z' },
    { id: 1, name: 'Taylor Swift', job: 'Pop star', last_updated: '2024-09-20T10:12:43.493Z' },  // duplicate
    { id: 5, name: 'Billie Eilish', job: 'Singer-songwriter', last_updated: '2024-09-10T09:30:12.493Z' },
    { id: 6, name: 'Katy Perry', job: 'Pop star', last_updated: '2024-10-08T12:30:45.493Z' },
    { id: 2, name: 'Ed Sheeran', job: 'Singer-songwriter', last_updated: '2024-10-05T08:30:59.493Z' },  // duplicate
    { id: 7, name: 'Lady Gaga', job: 'Pop star', last_updated: '2024-09-15T14:45:30.493Z' },
    { id: 8, name: 'Rihanna', job: 'Pop star', last_updated: '2024-10-01T11:50:22.493Z' },
    { id: 3, name: 'Adele', job: 'Singer-songwriter', last_updated: '2024-10-07T14:15:59.493Z' },  // duplicate
    //{ id: 9, name: 'Tom Hanks', job: 'Actor', last_updated: '2024-10-17T13:58:31.493Z' },
    //{ id: 0, name: 'Madonna', job: 'Pop star', last_updated: '2024-10-17T17:11:38.493Z' },
    //{ id: 15, name: 'Bob Dylan', job: 'Folk singer', last_updated: '2024-09-24T08:03:16.493Z'},
    //{ id: 10, name: 'Harry Nilsson', job: 'Singer-songwriter', last_updated: '2020-10-17T17:11:38.493Z' },
    //{ id: 11, name: 'Kylie Minogue', job: 'Pop star', last_updated: '2024-10-24T08:03:16.493Z'},
  ]
}

4. 캔버스에 Split Out 노드를 추가하고 Code node에 연결합니다.
5. Split Out 노드의 Fields To Split Out 필드에 data를 입력합니다.

현재 입력에서 중복 항목 제거하기#

1. 캔버스에 Remove Duplicates 노드를 추가하고 Split Out 노드에 연결합니다. 시작할 Action으로 Remove items repeated within current input을 선택합니다.
2. Remove Duplicates 노드를 열고 Operation이 Remove Items Repeated Within Current Input으로 설정되어 있는지 확인합니다.
3. Compare 필드에서 All fields를 선택합니다.
4. Execute step을 선택하여 Remove Duplicates 노드를 실행하고, 현재 입력에서 중복된 데이터를 제거합니다.

n8n은 모든 필드에 걸쳐 데이터가 동일한 항목을 제거합니다. 테이블 뷰에서 출력은 다음과 같이 표시됩니다.

5. Remove Duplicates 노드를 다시 열고 Compare 매개변수를 Selected Fields로 변경합니다.
6. Fields To Compare 필드에 job을 입력합니다.
7. Execute step을 선택하여 Remove Duplicates 노드를 실행하고, 현재 입력에서 중복된 데이터를 제거합니다.

n8n은 현재 입력에서 job 데이터가 동일한 항목을 제거합니다. 테이블 뷰에서 출력은 다음과 같이 표시됩니다.

값이 새로운 경우 항목 유지하기#

1. Remove Duplicates 노드를 열고 Operation을 Remove Items Processed in Previous Executions로 설정합니다.
2. Keep Items Where 매개변수를 Value Is New로 설정합니다.
3. Value to Dedupe On 매개변수를 {{ $json.name }}으로 설정합니다.
4. 캔버스에서 Execute workflow를 선택하여 워크플로를 실행합니다. Remove Duplicates 노드를 열어 결과를 확인합니다.

n8n은 현재 입력 데이터를 이전 실행에서 저장된 항목과 비교합니다. 이 작업으로 Remove Duplicates 노드를 실행하는 것이 처음이므로, n8n은 모든 데이터 항목을 처리하여 Kept 출력 탭에 넣습니다. 항목의 순서는 입력 데이터의 순서와 다를 수 있습니다.

5. Code node를 열고 "Tom Hanks"에 해당하는 줄의 주석(//)을 제거합니다.
6. 캔버스에서 다시 Execute workflow를 선택합니다. Remove Duplicates 노드를 다시 열어 결과를 확인합니다.

n8n은 현재 입력 데이터를 이전 실행에서 저장된 항목과 비교합니다. 이번에는 Kept 탭에 Code node에서 나온 새로운 레코드 1건이 포함됩니다.

Discarded 탭에는 이전 실행에서 처리된 항목이 포함됩니다.

다음 예제를 준비하기 위해 계속 진행하기 전에 중복 이력을 지웁니다.

7. Remove Duplicates 노드를 열고 Operation을 Clear Deduplication History로 설정합니다.
8. Execute step을 선택하여 현재 중복 이력을 지웁니다.

값이 이전 값보다 큰 경우 항목 유지하기#

1. Remove Duplicates 노드를 열고 Operation을 Remove Items Processed in Previous Executions로 설정합니다.
2. Keep Items Where 매개변수를 Value Is Higher than Any Previous Value로 설정합니다.
3. Value to Dedupe On 매개변수를 {{ $json.id }}로 설정합니다.
4. 캔버스에서 Execute workflow를 선택하여 워크플로를 실행합니다. Remove Duplicates 노드를 열어 결과를 확인합니다.

n8n은 현재 입력 데이터를 이전 실행에서 저장된 항목과 비교합니다. 이력을 지운 후 Remove Duplicates 노드를 실행하는 것이 처음이므로, n8n은 모든 데이터 항목을 처리하여 Kept 출력 탭에 넣습니다. 항목의 순서는 입력 데이터의 순서와 다를 수 있습니다.

5. Code node를 열고 "Madonna"와 "Bob Dylan"에 해당하는 줄의 주석을 제거합니다.
6. 캔버스에서 다시 Execute workflow를 선택합니다. Remove Duplicates 노드를 다시 열어 결과를 확인합니다.

n8n은 현재 입력 데이터를 이전 실행에서 저장된 항목과 비교합니다. 이번에는 Kept 탭에 "Bob Dylan"에 대한 항목 1건만 포함됩니다. n8n이 이 항목을 유지하는 이유는 그 id 열 값(15)이 이전의 어떤 값(이전 최댓값은 9)보다도 크기 때문입니다.

Discarded 탭에는 id 열 값이 이전 최댓값(9)과 같거나 그보다 작은 13개 항목이 포함됩니다. "Madonna"는 새로운 항목이지만 id 값이 이전 최댓값보다 크지 않기 때문에 이 테이블에 포함됩니다.

다음 예제를 준비하기 위해 계속 진행하기 전에 중복 이력을 지웁니다.

7. Remove Duplicates 노드를 열고 Operation을 Clear Deduplication History로 설정합니다.
8. Execute step을 선택하여 현재 중복 이력을 지웁니다.

값이 이전 날짜보다 늦은 날짜인 경우 항목 유지하기#

1. Remove Duplicates 노드를 열고 Operation을 Remove Items Processed in Previous Executions로 설정합니다.
2. Keep Items Where 매개변수를 Value Is a Date Later than Any Previous Date로 설정합니다.
3. Value to Dedupe On 매개변수를 {{ $json.last_updated }}로 설정합니다.
4. 캔버스에서 Execute workflow를 선택하여 워크플로를 실행합니다. Remove Duplicates 노드를 열어 결과를 확인합니다.

n8n은 현재 입력 데이터를 이전 실행에서 저장된 항목과 비교합니다. 이력을 지운 후 Remove Duplicates 노드를 실행하는 것이 처음이므로, n8n은 모든 데이터 항목을 처리하여 Kept 출력 탭에 넣습니다. 항목의 순서는 입력 데이터의 순서와 다를 수 있습니다.

5. Code node를 열고 "Harry Nilsson"과 "Kylie Minogue"에 해당하는 줄의 주석을 제거합니다.

6. 캔버스에서 다시 Execute workflow를 선택합니다. Remove Duplicates 노드를 다시 열어 결과를 확인합니다.

n8n은 현재 입력 데이터를 이전 실행에서 저장된 항목과 비교합니다. 이번에는 Kept 탭에 "Kylie Minogue"에 대한 항목 1건만 포함됩니다. n8n이 이 항목을 유지하는 이유는 그 last_updated 열 값(2024-10-24T08:03:16.493Z)이 이전의 어떤 값(이전 최신 날짜는 2024-10-17T17:11:38.493Z)보다도 늦기 때문입니다.

Discarded 탭에는 last_updated 열 값이 이전 최신 날짜(2024-10-17T17:11:38.493Z)와 같거나 그보다 이른 15개 항목이 포함됩니다. "Harry Nilsson"은 새로운 항목이지만 last_updated 값이 이전 최댓값보다 늦지 않기 때문에 이 테이블에 포함됩니다.