KnownTokenizerNames enum

Nyelvtanalapú tokenizer, amely alkalmas a legtöbb európai nyelvű dokumentum feldolgozására. Lásd: http://lucene.apache.org/core/4_10_3/analyzers-common/org/apache/lucene/analysis/standard/ClassicTokenizer.html

Tokenizálja a bemenetet egy élről az adott méret(ek) n-grammjára. Lásd: https://lucene.apache.org/core/4_10_3/analyzers-common/org/apache/lucene/analysis/ngram/EdgeNGramTokenizer.html

A teljes bemenetet egyetlen jogkivonatként bocsátja ki. Lásd: http://lucene.apache.org/core/4_10_3/analyzers-common/org/apache/lucene/analysis/core/KeywordTokenizer.html

A szöveget nem betűkkel osztja el. Lásd: http://lucene.apache.org/core/4_10_3/analyzers-common/org/apache/lucene/analysis/core/LetterTokenizer.html

Nem betűkre osztja a szöveget, és kisbetűssé alakítja őket. Lásd: http://lucene.apache.org/core/4_10_3/analyzers-common/org/apache/lucene/analysis/core/LowerCaseTokenizer.html

Nyelvspecifikus szabályokkal osztja el a szöveget, és a szavakat az alapformákra csökkenti.

Nyelvspecifikus szabályokkal osztja el a szöveget.

Tokenizálja a bemenetet az adott méret(ek) n-grammjára. Lásd: http://lucene.apache.org/core/4_10_3/analyzers-common/org/apache/lucene/analysis/ngram/NGramTokenizer.html

Tokenizer elérési utakhoz hasonló hierarchiákhoz. Lásd: http://lucene.apache.org/core/4_10_3/analyzers-common/org/apache/lucene/analysis/path/PathHierarchyTokenizer.html

A regex mintaegyezést használó tokenizer különböző jogkivonatok létrehozásához. Lásd: http://lucene.apache.org/core/4_10_3/analyzers-common/org/apache/lucene/analysis/pattern/PatternTokenizer.html

Standard Lucene-elemző; A standard tokenizerből, kisbetűs szűrőből és stop szűrőből áll. Lásd: http://lucene.apache.org/core/4_10_3/analyzers-common/org/apache/lucene/analysis/standard/StandardTokenizer.html

Tokenizes URL-címek és e-mailek egy jogkivonatként. Lásd: http://lucene.apache.org/core/4_10_3/analyzers-common/org/apache/lucene/analysis/standard/UAX29URLEmailTokenizer.html

A szóközön lévő szöveget osztja el. Lásd: http://lucene.apache.org/core/4_10_3/analyzers-common/org/apache/lucene/analysis/core/WhitespaceTokenizer.html