Tokenizer Classe

Riferimento

Pacchetto:: com.microsoft.bot.dialogs.choices

Artefatto Maven:: com.microsoft.bot:bot-dialogs:4.14.3

java.lang.Object
- com.microsoft.bot.dialogs.choices.Tokenizer

Implementazioni

TokenizerFunction

public class Tokenizer
implements TokenizerFunction

Fornisce l'implementazione del tokenizer predefinito.

Riepilogo dei costruttori

Costruttore	Descrizione
Tokenizer()

Riepilogo dei metodi

Modificatore e tipo	Metodo e descrizione
java.util.List<Token>	tokenize(String text, String locale) Tokenizzatore semplice che interrompe gli spazi e la punteggiatura.

Metodi ereditati da java.lang.Object

java.lang.Object.clone java.lang.Object.equals java.lang.Object.finalize java.lang.Object.getClass java.lang.Object.hashCode java.lang.Object.notify java.lang.Object.notifyAll java.lang.Object.toString java.lang.Object.wait java.lang.Object.wait java.lang.Object.wait

Dettagli costruttore

Tokenizer

public Tokenizer()

Dettagli metodo

tokenize

public List tokenize(String text, String locale)

Tokenizzatore semplice che interrompe gli spazi e la punteggiatura. L'unica normalizzazione eseguita è quella minuscola.

Parametri:

text - Testo di input.

locale - Facoltativo, identifica le impostazioni locali del testo di input.

Restituisce:

Elenco degli oggetti Token trovati.