Tokenizer 클래스

참조

패키지:: com.microsoft.bot.dialogs.choices

Maven 아티팩트:: com.microsoft.bot:bot-dialogs:4.14.3

java.lang.Object
- com.microsoft.bot.dialogs.choices.Tokenizer

구현

TokenizerFunction

public class Tokenizer
implements TokenizerFunction

기본 Tokenizer 구현을 제공합니다.

생성자 요약

생성자	Description
Tokenizer()

메서드 요약

한정자 및 형식	메서드 및 설명
java.util.List<Token>	tokenize(String text, String locale) 공백 및 문장 부호를 중단하는 간단한 토큰화기입니다.

다음에서 상속된 메서드 java.lang.Object

java.lang.Object.clone java.lang.Object.equals java.lang.Object.finalize java.lang.Object.getClass java.lang.Object.hashCode java.lang.Object.notify java.lang.Object.notifyAll java.lang.Object.toString java.lang.Object.wait java.lang.Object.wait java.lang.Object.wait

생성자 세부 정보

Tokenizer

public Tokenizer()

메서드 세부 정보

tokenize

public List tokenize(String text, String locale)

공백 및 문장 부호를 중단하는 간단한 토큰화기입니다. 유일한 정규화는 소문자입니다.

매개 변수:

text - 입력 텍스트입니다.

locale - 선택 사항으로 입력 텍스트의 로캘을 식별합니다.

반환:

찾은 토큰 개체의 목록입니다.