Tokenizer Klasse

Referenz

Paket:: com.microsoft.bot.dialogs.choices

Maven-Artefakt:: com.microsoft.bot:bot-dialogs:4.14.3

java.lang.Object
- com.microsoft.bot.dialogs.choices.Tokenizer

Implementiert

TokenizerFunction-

public class Tokenizer
implements TokenizerFunction

Stellt die standardmäßige Tokenizer-Implementierung bereit.

Zusammenfassung zum Konstruktor

Konstruktor	Beschreibung
Tokenizer()

Methodenzusammenfassung

Modifizierer und Typ	Methode und Beschreibung
java.util.List<Token>	tokenize(String text, String locale) Einfacher Tokenizer, der auf Leerzeichen und Interpunktion umbricht.

Geerbte Methoden von java.lang.Object

java.lang.Object.clone java.lang.Object.equals java.lang.Object.finalize java.lang.Object.getClass java.lang.Object.hashCode java.lang.Object.notify java.lang.Object.notifyAll java.lang.Object.toString java.lang.Object.wait java.lang.Object.wait java.lang.Object.wait

Details zum Konstruktor

Tokenizer

public Tokenizer()

Details zur Methode

tokenize

public List tokenize(String text, String locale)

Einfacher Tokenizer, der auf Leerzeichen und Interpunktion umbricht. Die einzige Normalisierung erfolgt in Kleinbuchstaben.

Parameter:

text - Der Eingabetext.

locale - Optional, identifiziert das Gebietsschema des Eingabetexts.

Gibt zurück:

Die Liste der gefundenen Tokenobjekte.