Tokenizer Clase

Referencia

Paquete:: com.microsoft.bot.dialogs.choices

Artefacto Maven:: com.microsoft.bot:bot-dialogs:4.14.3

java.lang.Object
- com.microsoft.bot.dialogs.choices.Tokenizer

Implementaciones

tokenizerFunction

public class Tokenizer
implements TokenizerFunction

Proporciona la implementación predeterminada de Tokenizer.

Resumen del constructor

Constructor	Description
Tokenizer()

Resumen del método

Modificador y tipo	Método y descripción
java.util.List<Token>	tokenize(String text, String locale) Tokenizador simple que se interrumpe en espacios y puntuación.

Métodos heredados de java.lang.Object

java.lang.Object.clone java.lang.Object.equals java.lang.Object.finalize java.lang.Object.getClass java.lang.Object.hashCode java.lang.Object.notify java.lang.Object.notifyAll java.lang.Object.toString java.lang.Object.wait java.lang.Object.wait java.lang.Object.wait

Detalles del constructor

Tokenizer

public Tokenizer()

Detalles del método

tokenize

public List tokenize(String text, String locale)

Tokenizador simple que se interrumpe en espacios y puntuación. La única normalización realizada es en minúsculas.

Parámetros:

text - Texto de entrada.

locale - Opcional, identifica la configuración regional del texto de entrada.

Devoluciones:

Lista de los objetos Token encontrados.