Tokenizer Класс

  • Ссылка
Пакет:
com.microsoft.bot.dialogs.choices
Артефакт Maven:
com.microsoft.bot:bot-dialogs:4.14.3
  • java.lang.Object
    • com.microsoft.bot.dialogs.choices.Tokenizer

Реализации

TokenizerFunction

public class Tokenizer
implements TokenizerFunction

Предоставляет реализацию токенизатора по умолчанию.

Сводка по конструктору

Конструктор Описание
Tokenizer()

Сводка по методу

Модификатор и тип Метод и описание
java.util.List<Token> tokenize(String text, String locale)

Простой токенизатор, который разбивается на пробелы и знаки препинания.

Методы, унаследованные от java.lang.Object

java.lang.Object.clone java.lang.Object.equals java.lang.Object.finalize java.lang.Object.getClass java.lang.Object.hashCode java.lang.Object.notify java.lang.Object.notifyAll java.lang.Object.toString java.lang.Object.wait java.lang.Object.wait java.lang.Object.wait

Сведения о конструкторе

Tokenizer

public Tokenizer()

Сведения о методе

tokenize

public List tokenize(String text, String locale)

Простой токенизатор, который разбивается на пробелы и знаки препинания. Единственная нормализация выполняется в нижнем регистре.

Параметры:

text - Входной текст.
locale - Необязательный атрибут определяет языковой стандарт входного текста.

Возвращаемое значение:

Список найденных объектов token.

Применяется к