n8n 中文文档

Token Splitter节点

Token Splitter 节点首先将文本转换为 BPE 令牌,然后将这些令牌分割为块,并将单个块中的令牌转换回文本,从而分割原始文本字符串。

Token Splitter 节点通过首先将文本转换为 BPE 令牌来分割原始文本字符串,然后将这些令牌分割成块,并将单个块内的令牌转换回文本。

在此页面上,您将找到令牌拆分器节点的节点参数以及更多资源的链接。

提示

Parameter resolution in sub-nodes 子节点参数解析

使用表达式处理多个项目时,子节点的行为与其他节点不同。

大多数节点,包括根节点,接受任意数量的项目作为输入,处理这些项目,并输出结果。您可以使用表达式引用输入项目,节点会依次为每个项目解析表达式。例如,给定五个 name 值的输入,表达式 {{ $json.name }} 会依次解析为每个名称。

在子节点中,表达式始终解析为第一项。例如,给定五个 name 值的输入,表达式 {{ $json.name }} 始终解析为名字。

节点参数

  • Chunk Size 块大小:输入每个块中的字符数。
  • 块大小:输入每个块中的字符数。
  • Chunk Overlap 块重叠:输入块之间的重叠量。
  • 块重叠:输入块之间的重叠量。

模板和示例

浏览Token Splitter节点文档集成模板或搜索所有模板

相关资源

有关该服务的更多信息,请参阅 LangChain 的按 token 分割文档 和 LangChain 的文本分割器文档。

查看 n8n 的 Advanced AI 高级 AI 文档。

不想自己部署和维护 n8n?n8ncn 托管 n8n 云服务:开通账号即可使用,不用买服务器;也可以在 n8ncn 工作流库 找现成的中文工作流。