Tokenizer 类

  • 参考
包:
com.microsoft.bot.dialogs.choices
Maven 项目:
com.microsoft.bot:bot-dialogs:4.14.3
  • java.lang.Object
    • com.microsoft.bot.dialogs.choices.Tokenizer

实现

TokenizerFunction

public class Tokenizer
implements TokenizerFunction

提供默认 Tokenizer 实现。

构造函数摘要

构造函数 说明
Tokenizer()

方法摘要

修饰符和类型 方法和描述
java.util.List<Token> tokenize(String text, String locale)

在空格和标点符号上中断的简单标记器。

方法继承自 java.lang.Object

java.lang.Object.clone java.lang.Object.equals java.lang.Object.finalize java.lang.Object.getClass java.lang.Object.hashCode java.lang.Object.notify java.lang.Object.notifyAll java.lang.Object.toString java.lang.Object.wait java.lang.Object.wait java.lang.Object.wait

构造函数详细信息

Tokenizer

public Tokenizer()

方法详细信息

tokenize

public List tokenize(String text, String locale)

在空格和标点符号上中断的简单标记器。 唯一完成的规范化是小写。

参数:

text - 输入文本。
locale - 可选，用于标识输入文本的区域设置。

返回:

找到的 Token 对象的列表。

适用于