TokenizerFunction Интерфейс
public interface TokenizerFunction
Представляет метод обратного вызова, который может разбить строку на маркеры компонента.
Сводка по методу
| Модификатор и тип | Метод и описание |
|---|---|
| abstract java.util.List<Token> |
tokenize(String text, String locale)
Метод обратного вызова, который может разбить строку на маркеры компонента. |
Сведения о методе
tokenize
public abstract List
Метод обратного вызова, который может разбить строку на маркеры компонента.
Параметры:
text
- Входной текст.
locale
- Необязательный атрибут определяет языковой стандарт входного текста.
Возвращаемое значение:
Список найденных объектов token.