TokenizerFunction Schnittstelle
public interface TokenizerFunction
Stellt eine Rückrufmethode dar, die eine Zeichenfolge in die zugehörigen Komponententoken aufteilen kann.
Methodenzusammenfassung
| Modifizierer und Typ | Methode und Beschreibung |
|---|---|
| abstract java.util.List<Token> |
tokenize(String text, String locale)
Die Rückrufmethode, die eine Zeichenfolge in ihre Komponententoken aufteilen kann. |
Details zur Methode
tokenize
public abstract List
Die Rückrufmethode, die eine Zeichenfolge in ihre Komponententoken aufteilen kann.
Parameter:
text
- Der Eingabetext.
locale
- Optional, identifiziert das Gebietsschema des Eingabetexts.
Gibt zurück:
Die Liste der gefundenen Tokenobjekte.