Skip to content

Token Splitter node#

Token Splitter 节点#

The Token Splitter node splits a raw text string by first converting the text into BPE tokens, then splits these tokens into chunks and converts the tokens within a single chunk back into text.

Token Splitter 节点通过首先将文本转换为 BPE 令牌来分割原始文本字符串，然后将这些令牌分割成块，并将单个块内的令牌转换回文本。

On this page, you'll find the node parameters for the Token Splitter node, and links to more resources.

在此页面上，您将找到 Token Splitter 节点的节点参数以及更多资源的链接。

子节点中的参数解析

子节点在使用表达式处理多个项目时的行为与其他节点不同。

大多数节点，包括根节点，接受任意数量的项目作为输入，处理这些项目，并输出结果。您可以使用表达式引用输入项目，节点会依次为每个项目解析表达式。例如，给定五个 name 值的输入，表达式 {{ $json.name }} 会依次解析为每个名称。

在子节点中，表达式始终解析为第一个项目。例如，给定五个 name 值的输入，表达式 {{ $json.name }} 始终解析为第一个名称。

Node parameters#

节点参数#

  • Chunk Size: Enter the number of characters in each chunk.
  • 块大小：输入每个块中的字符数。
  • Chunk Overlap: Enter how much overlap to have between chunks.
  • 块重叠：输入块之间的重叠量。

Templates and examples#

模板和示例#

Browse 令牌分割器 integration templates, or search all templates

相关资源#

Refer to LangChain's token documentation and LangChain's text splitter documentation for more information about the service.

请参阅 LangChain 的令牌文档 和 LangChain 的文本分割器文档 了解有关该服务的更多信息。

查看 n8n 的高级 AI文档。

AI 术语表#

  • completion（完成/补全）: 完成是由 GPT 等模型生成的响应。
  • hallucinations（幻觉）: AI 中的幻觉是指大语言模型（LLM）错误地感知到不存在的模式或对象。
  • vector database（向量数据库）: 向量数据库存储信息的数学表示。与嵌入和检索器一起使用，创建 AI 在回答问题时可以访问的数据库。
  • vector store（向量存储）: 向量存储或向量数据库，存储信息的数学表示。与嵌入和检索器一起使用，创建 AI 在回答问题时可以访问的数据库。