Tokenizer Klasa
Udostępnia domyślną implementację tokenizatora.
Konstruktor
Tokenizer()Metody
| default_tokenizer |
Prosty tokenizer, który przerywa spacje i znaki interpunkcyjne. Jedyną normalizacją jest małe litery. Parametr:text: tekst wejściowy. ustawienia regionalne: (opcjonalnie) Identyfikuje ustawienia regionalne tekstu wejściowego. |
default_tokenizer
Prosty tokenizer, który przerywa spacje i znaki interpunkcyjne. Jedyną normalizacją jest małe litery.
Parametr:
text: tekst wejściowy.
ustawienia regionalne: (opcjonalnie) Identyfikuje ustawienia regionalne tekstu wejściowego.
static default_tokenizer(text: str, locale: str = None) -> [<class 'botbuilder.dialogs.choices.token.Token'>]Parametry
| Nazwa | Opis |
|---|---|
|
text
Wymagane
|
|
|
locale
|
Domyślna wartość: None
|