TokenizerFunction 接口
public interface TokenizerFunction
表示可将字符串分解为其组件令牌的回调方法。
方法摘要
| 修饰符和类型 | 方法和描述 |
|---|---|
| abstract java.util.List<Token> |
tokenize(String text, String locale)
可将字符串分解为其组件令牌的回调方法。 |
方法详细信息
tokenize
public abstract List
可将字符串分解为其组件令牌的回调方法。
参数:
text
- 输入文本。
locale
- 可选，用于标识输入文本的区域设置。
返回:
找到的 Token 对象的列表。