TokenizerFunction Interface
public interface TokenizerFunction
Representa um método de retorno de chamada que pode dividir uma cadeia de caracteres em seus tokens de componente.
Resumo do método
| Modificador e tipo | Método e descrição |
|---|---|
| abstract java.util.List<Token> |
tokenize(String text, String locale)
O método de retorno de chamada que pode dividir uma cadeia de caracteres em seus tokens de componente. |
Detalhes do método
tokenize
public abstract List
O método de retorno de chamada que pode dividir uma cadeia de caracteres em seus tokens de componente.
Parâmetros:
text
- O texto de entrada.
locale
- Opcional, identifica a localidade do texto de entrada.
Retornos:
A lista dos objetos token encontrados.