다음은 Remove Duplicates node에 대한 템플릿과 예제입니다.

템플릿#

Code node를 사용하여 샘플 데이터 설정#

Remove Duplicates node를 사용해 보기 위해 샘플 입력 데이터가 있는 워크플로를 만들어 보세요.

1. 캔버스에 Code node를 추가하고 Manual Trigger node에 연결합니다.
2. Code node에서 Mode를 Run Once for Each Item으로, Language를 JavaScript로 설정합니다.
3. JavaScript 필드에 다음 JavaScript 코드 스니펫을 붙여넣습니다:

let data =[];

return {
  data: [
    { id: 1, name: 'Taylor Swift', job: 'Pop star', last_updated: '2024-09-20T10:12:43.493Z' },
    { id: 2, name: 'Ed Sheeran', job: 'Singer-songwriter', last_updated: '2024-10-05T08:30:59.493Z' },
    { id: 3, name: 'Adele', job: 'Singer-songwriter', last_updated: '2024-10-07T14:15:59.493Z' },
    { id: 4, name: 'Bruno Mars', job: 'Singer-songwriter', last_updated: '2024-08-25T17:45:12.493Z' },
    { id: 1, name: 'Taylor Swift', job: 'Pop star', last_updated: '2024-09-20T10:12:43.493Z' },  // duplicate
    { id: 5, name: 'Billie Eilish', job: 'Singer-songwriter', last_updated: '2024-09-10T09:30:12.493Z' },
    { id: 6, name: 'Katy Perry', job: 'Pop star', last_updated: '2024-10-08T12:30:45.493Z' },
    { id: 2, name: 'Ed Sheeran', job: 'Singer-songwriter', last_updated: '2024-10-05T08:30:59.493Z' },  // duplicate
    { id: 7, name: 'Lady Gaga', job: 'Pop star', last_updated: '2024-09-15T14:45:30.493Z' },
    { id: 8, name: 'Rihanna', job: 'Pop star', last_updated: '2024-10-01T11:50:22.493Z' },
    { id: 3, name: 'Adele', job: 'Singer-songwriter', last_updated: '2024-10-07T14:15:59.493Z' },  // duplicate
    //{ id: 9, name: 'Tom Hanks', job: 'Actor', last_updated: '2024-10-17T13:58:31.493Z' },
    //{ id: 0, name: 'Madonna', job: 'Pop star', last_updated: '2024-10-17T17:11:38.493Z' },
    //{ id: 15, name: 'Bob Dylan', job: 'Folk singer', last_updated: '2024-09-24T08:03:16.493Z'},
    //{ id: 10, name: 'Harry Nilsson', job: 'Singer-songwriter', last_updated: '2020-10-17T17:11:38.493Z' },
    //{ id: 11, name: 'Kylie Minogue', job: 'Pop star', last_updated: '2024-10-24T08:03:16.493Z'},
  ]
}

4. 캔버스에 Split Out node를 추가하고 Code node에 연결합니다.
5. Split Out node의 Fields To Split Out 필드에 data를 입력합니다.

현재 입력에서 중복 제거#

1. 캔버스에 Remove Duplicates node를 추가하고 Split Out node에 연결합니다. 시작할 Action으로 Remove items repeated within current input을 선택합니다.
2. Remove Duplicates node를 열고 Operation이 Remove Items Repeated Within Current Input으로 설정되어 있는지 확인합니다.
3. Compare 필드에서 All fields를 선택합니다.
4. Execute step을 선택하여 Remove Duplicates node를 실행하고 현재 입력의 중복 데이터를 제거합니다.

n8n이 모든 필드에서 동일한 데이터를 가진 항목을 제거합니다. 테이블 보기에서 출력은 다음과 같아야 합니다:

5. Remove Duplicates node를 다시 열고 Compare 파라미터를 Selected Fields로 변경합니다.
6. Fields To Compare 필드에 job을 입력합니다.
7. Execute step을 선택하여 Remove Duplicates node를 실행하고 현재 입력의 중복 데이터를 제거합니다.

n8n이 동일한 job 데이터를 가진 현재 입력의 항목을 제거합니다. 테이블 보기에서 출력은 다음과 같아야 합니다:

값이 새로운 경우 항목 유지#

1. Remove Duplicates node를 열고 Operation을 Remove Items Processed in Previous Executions로 설정합니다.
2. Keep Items Where 파라미터를 Value Is New로 설정합니다.
3. Value to Dedupe On 파라미터를 {{ $json.name }}으로 설정합니다.
4. 캔버스에서 Execute workflow를 선택하여 워크플로를 실행합니다. Remove Duplicates node를 열어 결과를 확인합니다.

n8n이 현재 입력 데이터를 이전 실행에서 저장된 항목과 비교합니다. 이 작업으로 Remove Duplicates node를 처음 실행하므로 n8n은 모든 데이터 항목을 처리하고 Kept 출력 탭에 배치합니다. 항목 순서는 입력 데이터의 순서와 다를 수 있습니다:

5. Code node를 열고 "Tom Hanks" 줄의 주석 처리(//)를 해제합니다.
6. 캔버스에서 Execute workflow를 다시 선택합니다. Remove Duplicates node를 다시 열어 결과를 확인합니다.

n8n이 현재 입력 데이터를 이전 실행에서 저장된 항목과 비교합니다. 이번에는 Kept 탭에 Code node의 새 레코드 하나가 포함됩니다:

Discarded 탭에는 이전 실행에서 처리된 항목이 포함됩니다:

계속하기 전에, 다음 예제를 위해 중복 제거 기록을 지웁니다:

7. Remove Duplicates node를 열고 Operation을 Clear Deduplication History로 설정합니다.
8. Execute step을 선택하여 현재 중복 제거 기록을 지웁니다.

이전 값보다 높은 경우 항목 유지#

1. Remove Duplicates node를 열고 Operation을 Remove Items Processed in Previous Executions로 설정합니다.
2. Keep Items Where 파라미터를 Value Is Higher than Any Previous Value로 설정합니다.
3. Value to Dedupe On 파라미터를 {{ $json.id }}로 설정합니다.
4. 캔버스에서 Execute workflow를 선택하여 워크플로를 실행합니다. Remove Duplicates node를 열어 결과를 확인합니다.

n8n이 현재 입력 데이터를 이전 실행에서 저장된 항목과 비교합니다. 기록을 지운 후 Remove Duplicates node를 처음 실행하므로 n8n은 모든 데이터 항목을 처리하고 Kept 출력 탭에 배치합니다. 항목 순서는 입력 데이터의 순서와 다를 수 있습니다:

5. Code node를 열고 "Madonna"와 "Bob Dylan" 줄의 주석 처리(//)를 해제합니다.
6. 캔버스에서 Execute workflow를 다시 선택합니다. Remove Duplicates node를 다시 열어 결과를 확인합니다.

n8n이 현재 입력 데이터를 이전 실행에서 저장된 항목과 비교합니다. 이번에는 Kept 탭에 "Bob Dylan"에 대한 단일 항목이 포함됩니다. n8n이 이 항목을 유지하는 이유는 id 열 값(15)이 이전 값(이전 최대값은 9)보다 높기 때문입니다:

Discarded 탭에는 id 열 값이 이전 최대값(9) 이하인 13개의 항목이 포함됩니다. "Madonna" 항목은 새로운 항목이지만 id 값이 이전 최대값보다 크지 않기 때문에 이 테이블에도 포함됩니다:

계속하기 전에, 다음 예제를 위해 중복 제거 기록을 지웁니다:

7. Remove Duplicates node를 열고 Operation을 Clear Deduplication History로 설정합니다.
8. Execute step을 선택하여 현재 중복 제거 기록을 지웁니다.

이전 날짜보다 늦은 날짜인 경우 항목 유지#

1. Remove Duplicates node를 열고 Operation을 Remove Items Processed in Previous Executions로 설정합니다.
2. Keep Items Where 파라미터를 Value Is a Date Later than Any Previous Date로 설정합니다.
3. Value to Dedupe On 파라미터를 {{ $json.last_updated }}로 설정합니다.
4. 캔버스에서 Execute workflow를 선택하여 워크플로를 실행합니다. Remove Duplicates node를 열어 결과를 확인합니다.

n8n이 현재 입력 데이터를 이전 실행에서 저장된 항목과 비교합니다. 기록을 지운 후 Remove Duplicates node를 처음 실행하므로 n8n은 모든 데이터 항목을 처리하고 Kept 출력 탭에 배치합니다. 항목 순서는 입력 데이터의 순서와 다를 수 있습니다:

5. Code node를 열고 "Harry Nilsson"과 "Kylie Minogue" 줄의 주석 처리(//)를 해제합니다.

6. 캔버스에서 Execute workflow를 다시 선택합니다. Remove Duplicates node를 다시 열어 결과를 확인합니다.

n8n이 현재 입력 데이터를 이전 실행에서 저장된 항목과 비교합니다. 이번에는 Kept 탭에 "Kylie Minogue"에 대한 단일 항목이 포함됩니다. n8n이 이 항목을 유지하는 이유는 last_updated 열 값(2024-10-24T08:03:16.493Z)이 이전 값(이전 가장 최신 날짜는 2024-10-17T17:11:38.493Z)보다 늦기 때문입니다:

Discarded 탭에는 last_updated 열 값이 이전 가장 최신 날짜(2024-10-17T17:11:38.493Z) 이전이거나 같은 15개의 항목이 포함됩니다. "Harry Nilsson" 항목은 새로운 항목이지만 last_updated 값이 이전 최대값보다 늦지 않기 때문에 이 테이블에도 포함됩니다: