TokenizerFunction Interfaz
public interface TokenizerFunction
Representa un método de devolución de llamada que puede dividir una cadena en sus tokens de componente.
Resumen del método
| Modificador y tipo | Método y descripción |
|---|---|
| abstract java.util.List<Token> |
tokenize(String text, String locale)
Método de devolución de llamada que puede dividir una cadena en sus tokens de componente. |
Detalles del método
tokenize
public abstract List
Método de devolución de llamada que puede dividir una cadena en sus tokens de componente.
Parámetros:
text
- Texto de entrada.
locale
- Opcional, identifica la configuración regional del texto de entrada.
Devoluciones:
Lista de los objetos Token encontrados.