模板和示例
以下是删除重复节点 的一些模板和示例。
提示
Continuous examples 连续的例子
本节中包含的示例是一个序列。从一个到另一个,以避免意外结果。
模板
使用代码节点 设置示例数据
创建一个包含一些示例输入数据的工作流来尝试 Remove Duplicates 去重节点。
- 将 Code 代码节点添加到画布并将其连接到 Manual Trigger 手动触发器节点。
- 在 Code 代码节点中,将 Mode 模式 设置为 Run Once for Each Item 为每个项目运行一次,将 Language 语言 设置为 JavaScript。
- 将以下 JavaScript 代码片段粘贴到 JavaScript 字段中:
let data =[];
return {
data: [
{ id: 1, name: 'Taylor Swift', job: 'Pop star', last_updated: '2024-09-20T10:12:43.493Z' },
{ id: 2, name: 'Ed Sheeran', job: 'Singer-songwriter', last_updated: '2024-10-05T08:30:59.493Z' },
{ id: 3, name: 'Adele', job: 'Singer-songwriter', last_updated: '2024-10-07T14:15:59.493Z' },
{ id: 4, name: 'Bruno Mars', job: 'Singer-songwriter', last_updated: '2024-08-25T17:45:12.493Z' },
{ id: 1, name: 'Taylor Swift', job: 'Pop star', last_updated: '2024-09-20T10:12:43.493Z' }, // duplicate
{ id: 5, name: 'Billie Eilish', job: 'Singer-songwriter', last_updated: '2024-09-10T09:30:12.493Z' },
{ id: 6, name: 'Katy Perry', job: 'Pop star', last_updated: '2024-10-08T12:30:45.493Z' },
{ id: 2, name: 'Ed Sheeran', job: 'Singer-songwriter', last_updated: '2024-10-05T08:30:59.493Z' }, // duplicate
{ id: 7, name: 'Lady Gaga', job: 'Pop star', last_updated: '2024-09-15T14:45:30.493Z' },
{ id: 8, name: 'Rihanna', job: 'Pop star', last_updated: '2024-10-01T11:50:22.493Z' },
{ id: 3, name: 'Adele', job: 'Singer-songwriter', last_updated: '2024-10-07T14:15:59.493Z' }, // duplicate
//{ id: 9, name: 'Tom Hanks', job: 'Actor', last_updated: '2024-10-17T13:58:31.493Z' },
//{ id: 0, name: 'Madonna', job: 'Pop star', last_updated: '2024-10-17T17:11:38.493Z' },
//{ id: 15, name: 'Bob Dylan', job: 'Folk singer', last_updated: '2024-09-24T08:03:16.493Z'},
//{ id: 10, name: 'Harry Nilsson', job: 'Singer-songwriter', last_updated: '2020-10-17T17:11:38.493Z' },
//{ id: 11, name: 'Kylie Minogue', job: 'Pop star', last_updated: '2024-10-24T08:03:16.493Z'},
]
}
- 将 Split Out 拆分节点添加到画布并将其连接到 Code 代码节点。
- 在 Split Out 拆分节点中,在 Fields To Split Out 要拆分的字段 字段中输入
data。
从当前输入中删除重复项
- 将 Remove Duplicates 去重节点添加到画布并将其连接到 Split Out 拆分节点。选择 Remove items repeated within current input 删除当前输入中重复的项目 作为 Action 操作 开始。
- 打开 Remove Duplicates 去重节点并确保 Operation 操作 设置为 Remove Items Repeated Within Current Input 删除当前输入中重复的项目。
- 在 Compare 比较 字段中选择 All fields 所有字段。
- 选择 Execute step 执行步骤 运行 Remove Duplicates 去重节点,删除当前输入中的重复数据。
n8n 删除所有字段中具有相同数据的项目。表视图中的输出应如下所示:
| id | name 姓名 | job 工作 | last_updated 最后更新 |
|---|---|---|---|
| 1 | 泰勒·斯威夫特 | 流行歌星 | 2024-09-20T10:12:43.493Z |
| 2 | 艾德·希兰 | 创作型歌手 | 2024-10-05T08:30:59.493Z |
| 3 | 阿黛尔 | 创作型歌手 | 2024-10-07T14:15:59.493Z |
| 4 | 布鲁诺·马尔斯 | 创作型歌手 | 2024-08-25T17:45:12.493Z |
| 5 | 比莉·艾利什 | 创作型歌手 | 2024-09-10T09:30:12.493Z |
| 6 | 凯蒂·佩里 | 流行歌星 | 2024-10-08T12:30:45.493Z |
| 7 | 嘎嘎小姐 | 流行歌星 | 2024-09-15T14:45:30.493Z |
| 8 | 蕾哈娜 | 流行歌星 | 2024-10-01T11:50:22.493Z |
- 再次打开“删除重复项”节点,并将 Compare 比较 参数更改为 Selected Fields 选定的字段。
- 在 Fields To Compare 要比较的字段 字段中,输入
job。 - 选择 Execute step 执行步骤 运行“删除重复项”节点,删除当前输入中的重复数据。
n8n 删除当前输入中具有相同 job 数据的项目。表视图中的输出应如下所示:
| id | name 姓名 | job 工作 | last_updated 最后更新 |
|---|---|---|---|
| 1 | 泰勒·斯威夫特 | 流行歌星 | 2024-09-20T10:12:43.493Z |
| 2 | 艾德·希兰 | 创作型歌手 | 2024-10-05T08:30:59.493Z |
保留值为新值的项目
- 打开删除重复节点并将 Operation 操作 设置为 Remove Items Processed in Previous Executions 删除先前执行中处理的项目。
- 将Keep Items Where 将物品放在原处 参数设置为Value Is New 价值是新的。
- 将Value to Dedupe On 重复数据删除的价值 参数设置为
{{ $json.name }}。 - 在画布上,选择 Execute workflow 执行工作流程 以运行工作流程。打开“删除重复项”节点以检查结果。
n8n 将当前输入数据与先前执行中存储的项目进行比较。由于这是第一次使用此操作运行“删除重复项”节点,因此 n8n 处理所有数据项并将它们放入 Kept 保留 输出选项卡中。项目的顺序可能与输入数据中的顺序不同:
| id | name 姓名 | job 工作 | last_updated 最后更新 |
|---|---|---|---|
| 1 | 泰勒·斯威夫特 | 流行歌星 | 2024-09-20T10:12:43.493Z |
| 1 | 泰勒·斯威夫特 | 流行歌星 | 2024-09-20T10:12:43.493Z |
| 2 | 艾德·希兰 | 创作型歌手 | 2024-10-05T08:30:59.493Z |
| 2 | 艾德·希兰 | 创作型歌手 | 2024-10-05T08:30:59.493Z |
| 3 | 阿黛尔 | 创作型歌手 | 2024-10-07T14:15:59.493Z |
| 3 | 阿黛尔 | 创作型歌手 | 2024-10-07T14:15:59.493Z |
| 4 | 布鲁诺·马尔斯 | 创作型歌手 | 2024-08-25T17:45:12.493Z |
| 5 | 比莉·艾利什 | 创作型歌手 | 2024-09-10T09:30:12.493Z |
| 6 | 凯蒂·佩里 | 流行歌星 | 2024-10-08T12:30:45.493Z |
| 7 | 嘎嘎小姐 | 流行歌星 | 2024-09-15T14:45:30.493Z |
| 8 | 蕾哈娜 | 流行歌星 | 2024-10-01T11:50:22.493Z |
提示
Items are only compared against previous executions 项目仅与之前的执行进行比较
当前输入项仅与先前执行中存储的项进行比较。这意味着在此操作模式下不会删除当前输入中重复的项目。如果您需要跨执行删除当前输入和内的重复项,请按顺序将两个“删除重复”节点连接在一起。将第一个设置为使用 Remove Items Repated Within Current Input 删除当前输入中重复的项目 操作,第二个设置为使用 Remove Items Processed in Previous Executions 删除先前执行中处理的项目 操作。
- 打开代码节点并取消注释“Tom Hanks”行(从中删除
//)。 - 在画布上,再次选择 Execute workflow 执行工作流程。再次打开“删除重复项”节点以检查结果。
n8n 将当前输入数据与先前执行中存储的项目进行比较。这次,Kept 保留 选项卡包含来自代码节点的一条新记录:
| id | name 姓名 | job 工作 | last_updated 最后更新 |
|---|---|---|---|
| 9 | 汤姆·汉克斯 | 演员 | 2024-10-17T13:58:31.493Z |
Discarded 废弃 选项卡包含先前执行处理的项目:
| id | name 姓名 | job 工作 | last_updated 最后更新 |
|---|---|---|---|
| 1 | 泰勒·斯威夫特 | 流行歌星 | 2024-09-20T10:12:43.493Z |
| 1 | 泰勒·斯威夫特 | 流行歌星 | 2024-09-20T10:12:43.493Z |
| 2 | 艾德·希兰 | 创作型歌手 | 2024-10-05T08:30:59.493Z |
| 2 | 艾德·希兰 | 创作型歌手 | 2024-10-05T08:30:59.493Z |
| 3 | 阿黛尔 | 创作型歌手 | 2024-10-07T14:15:59.493Z |
| 3 | 阿黛尔 | 创作型歌手 | 2024-10-07T14:15:59.493Z |
| 4 | 布鲁诺·马尔斯 | 创作型歌手 | 2024-08-25T17:45:12.493Z |
| 5 | 比莉·艾利什 | 创作型歌手 | 2024-09-10T09:30:12.493Z |
| 6 | 凯蒂·佩里 | 流行歌星 | 2024-10-08T12:30:45.493Z |
| 7 | 嘎嘎小姐 | 流行歌星 | 2024-09-15T14:45:30.493Z |
| 8 | 蕾哈娜 | 流行歌星 | 2024-10-01T11:50:22.493Z |
在继续之前,请清除重复历史记录,为下一个示例做好准备:
- 打开删除重复节点并将 Operation 操作 设置为 Clear Deduplication History 清除重复数据删除历史记录。
- 选择Execute step 执行步骤 清除当前的复制历史记录。
保留值高于任何先前值的项目
- 打开删除重复节点并将 Operation 操作 设置为 Remove Items Processed in Previous Executions 删除先前执行中处理的项目。
- 将Keep Items Where 将物品放在原处 参数设置为Value Is Higher than Any Previous Value 值高于任何先前的值。
- 将Value to Dedupe On 重复数据删除的价值 参数设置为
{{ $json.id }}。 - 在画布上,选择 Execute workflow 执行工作流程 以运行工作流程。打开“删除重复项”节点以检查结果。
n8n 将当前输入数据与先前执行中存储的项目进行比较。由于这是清除历史记录后第一次运行“删除重复项”节点,因此 n8n 处理所有数据项并将它们放入 Kept 保留 输出选项卡中。项目的顺序可能与输入数据中的顺序不同:
| id | name 姓名 | job 工作 | last_updated 最后更新 |
|---|---|---|---|
| 1 | 泰勒·斯威夫特 | 流行歌星 | 2024-09-20T10:12:43.493Z |
| 1 | 泰勒·斯威夫特 | 流行歌星 | 2024-09-20T10:12:43.493Z |
| 2 | 艾德·希兰 | 创作型歌手 | 2024-10-05T08:30:59.493Z |
| 2 | 艾德·希兰 | 创作型歌手 | 2024-10-05T08:30:59.493Z |
| 3 | 阿黛尔 | 创作型歌手 | 2024-10-07T14:15:59.493Z |
| 3 | 阿黛尔 | 创作型歌手 | 2024-10-07T14:15:59.493Z |
| 4 | 布鲁诺·马尔斯 | 创作型歌手 | 2024-08-25T17:45:12.493Z |
| 5 | 比莉·艾利什 | 创作型歌手 | 2024-09-10T09:30:12.493Z |
| 6 | 凯蒂·佩里 | 流行歌星 | 2024-10-08T12:30:45.493Z |
| 7 | 嘎嘎小姐 | 流行歌星 | 2024-09-15T14:45:30.493Z |
| 8 | 蕾哈娜 | 流行歌星 | 2024-10-01T11:50:22.493Z |
| 9 | 汤姆·汉克斯 | 演员 | 2024-10-17T13:58:31.493Z |
- 打开代码节点并取消注释“Madonna”和“Bob Dylan”行(从中删除
//)。 - 在画布上,再次选择 Execute workflow 执行工作流程。再次打开“删除重复项”节点以检查结果。
n8n 将当前输入数据与先前执行中存储的项目进行比较。这次,Kept 保留 选项卡包含“Bob Dylan”的单个条目。 n8n 保留此项,因为其 id 列值 (15) 高于任何先前的值(先前的最大值为 9):
| id | name 姓名 | job 工作 | last_updated 最后更新 |
|---|---|---|---|
| 15 | 15鲍勃·迪伦 | 民谣歌手 | 2024-09-24T08:03:16.493Z |
Discarded 废弃 选项卡包含 id 列值等于或小于先前最大值 (9) 的 13 个项目。尽管它是新的,但此表包含“Madonna”的条目,因为它的 id 值不大于之前的最大值:
| id | name 姓名 | job 工作 | last_updated 最后更新 |
|---|---|---|---|
| 0 | 麦当娜 | 流行歌星 | 2024-10-17T17:11:38.493Z |
| 1 | 泰勒·斯威夫特 | 流行歌星 | 2024-09-20T10:12:43.493Z |
| 1 | 泰勒·斯威夫特 | 流行歌星 | 2024-09-20T10:12:43.493Z |
| 2 | 艾德·希兰 | 创作型歌手 | 2024-10-05T08:30:59.493Z |
| 2 | 艾德·希兰 | 创作型歌手 | 2024-10-05T08:30:59.493Z |
| 3 | 阿黛尔 | 创作型歌手 | 2024-10-07T14:15:59.493Z |
| 3 | 阿黛尔 | 创作型歌手 | 2024-10-07T14:15:59.493Z |
| 4 | 布鲁诺·马尔斯 | 创作型歌手 | 2024-08-25T17:45:12.493Z |
| 5 | 比莉·艾利什 | 创作型歌手 | 2024-09-10T09:30:12.493Z |
| 6 | 凯蒂·佩里 | 流行歌星 | 2024-10-08T12:30:45.493Z |
| 7 | 嘎嘎小姐 | 流行歌星 | 2024-09-15T14:45:30.493Z |
| 8 | 蕾哈娜 | 流行歌星 | 2024-10-01T11:50:22.493Z |
| 9 | 汤姆·汉克斯 | 演员 | 2024-10-17T13:58:31.493Z |
在继续之前,请清除重复历史记录,为下一个示例做好准备:
- 打开删除重复节点并将 Operation 操作 设置为 Clear Deduplication History 清除重复数据删除历史记录。
- 选择Execute step 执行步骤 清除当前的复制历史记录。
保留值晚于任何先前日期 的项目
- 打开删除重复节点并将 Operation 操作 设置为 Remove Items Processed in Previous Executions 删除先前执行中处理的项目。
- 将Keep Items Where 将物品放在原处 参数设置为Value Is a Date Later than Any Previous Date 值是晚于任何先前日期的日期。
- 将Value to Dedupe On 重复数据删除的价值 参数设置为
{{ $json.last_updated }}。 - 在画布上,选择 Execute workflow 执行工作流程 以运行工作流程。打开“删除重复项”节点以检查结果。
n8n 将当前输入数据与先前执行中存储的项目进行比较。由于这是清除历史记录后第一次运行“删除重复项”节点,因此 n8n 处理所有数据项并将它们放入 Kept 保留 输出选项卡中。项目的顺序可能与输入数据中的顺序不同:
| id | name 姓名 | job 工作 | last_updated 最后更新 |
|---|---|---|---|
| 0 | 麦当娜 | 流行歌星 | 2024-10-17T17:11:38.493Z |
| 1 | 泰勒·斯威夫特 | 流行歌星 | 2024-09-20T10:12:43.493Z |
| 1 | 泰勒·斯威夫特 | 流行歌星 | 2024-09-20T10:12:43.493Z |
| 2 | 艾德·希兰 | 创作型歌手 | 2024-10-05T08:30:59.493Z |
| 2 | 艾德·希兰 | 创作型歌手 | 2024-10-05T08:30:59.493Z |
| 3 | 阿黛尔 | 创作型歌手 | 2024-10-07T14:15:59.493Z |
| 3 | 阿黛尔 | 创作型歌手 | 2024-10-07T14:15:59.493Z |
| 4 | 布鲁诺·马尔斯 | 创作型歌手 | 2024-08-25T17:45:12.493Z |
| 5 | 比莉·艾利什 | 创作型歌手 | 2024-09-10T09:30:12.493Z |
| 6 | 凯蒂·佩里 | 流行歌星 | 2024-10-08T12:30:45.493Z |
| 7 | 嘎嘎小姐 | 流行歌星 | 2024-09-15T14:45:30.493Z |
| 8 | 蕾哈娜 | 流行歌星 | 2024-10-01T11:50:22.493Z |
| 9 | 汤姆·汉克斯 | 演员 | 2024-10-17T13:58:31.493Z |
| 15 | 15鲍勃·迪伦 | 民谣歌手 | 2024-09-24T08:03:16.493Z |
-
打开代码节点并取消注释“Harry Nilsson”和“Kylie Minogue”行(从中删除
//)。 -
在画布上,再次选择 Execute workflow 执行工作流程。再次打开“删除重复项”节点以检查结果。
n8n 将当前输入数据与先前执行中存储的项目进行比较。这次,Kept 保留 选项卡包含“Kylie Minogue”的单个条目。 n8n 保留此项,因为其 last_updated 列值 (2024-10-24T08:03:16.493Z) 晚于任何先前的值(先前的最新日期为 2024-10-17T17:11:38.493Z):
| id | name 姓名 | job 工作 | last_updated 最后更新 |
|---|---|---|---|
| 11 | 11凯莉·米洛 | 流行歌星 | 2024-10-24T08:03:16.493Z |
Discarded 废弃 选项卡包含 last_updated 列值等于或早于上一个最新日期 (2024-10-17T17:11:38.493Z) 的 15 个项目。尽管它是新的,但此表包含“Harry Nilsson”条目,因为其 last_updated 值不晚于之前的最大值:
| id | name 姓名 | job 工作 | last_updated 最后更新 |
|---|---|---|---|
| 10 | 10哈里·尼尔森 | 创作型歌手 | 2020-10-17T17:11:38.493Z |
| 0 | 麦当娜 | 流行歌星 | 2024-10-17T17:11:38.493Z |
| 1 | 泰勒·斯威夫特 | 流行歌星 | 2024-09-20T10:12:43.493Z |
| 1 | 泰勒·斯威夫特 | 流行歌星 | 2024-09-20T10:12:43.493Z |
| 2 | 艾德·希兰 | 创作型歌手 | 2024-10-05T08:30:59.493Z |
| 2 | 艾德·希兰 | 创作型歌手 | 2024-10-05T08:30:59.493Z |
| 3 | 阿黛尔 | 创作型歌手 | 2024-10-07T14:15:59.493Z |
| 3 | 阿黛尔 | 创作型歌手 | 2024-10-07T14:15:59.493Z |
| 4 | 布鲁诺·马尔斯 | 创作型歌手 | 2024-08-25T17:45:12.493Z |
| 5 | 比莉·艾利什 | 创作型歌手 | 2024-09-10T09:30:12.493Z |
| 6 | 凯蒂·佩里 | 流行歌星 | 2024-10-08T12:30:45.493Z |
| 7 | 嘎嘎小姐 | 流行歌星 | 2024-09-15T14:45:30.493Z |
| 8 | 蕾哈娜 | 流行歌星 | 2024-10-01T11:50:22.493Z |
| 9 | 汤姆·汉克斯 | 演员 | 2024-10-17T13:58:31.493Z |
| 15 | 15鲍勃·迪伦 | 民谣歌手 | 2024-09-24T08:03:16.493Z |