Normalizacja formularzy powierzchni

Chociaż słowa i reguły językowe różnią się dramatycznie, istnieją pewne zagadnienia, takie jak liczby, daty i godziny, które są obsługiwane spójnie we wszystkich modułach dzielenia wyrazów. W tym temacie opisano zagadnienia dotyczące normalizacji, które mogą mieć wpływ na implementację dzielenia wyrazów.

Ten temat jest zorganizowany w następujący sposób:

• dzielenie wyrazów
• Diacritics
• clitics

Dzielenia wyrazów

Łączniki (-) są używane między częściami złożonego słowa lub nazwy. Są one również używane między sylabami wyrazu, gdy wyraz jest podzielony na końcu wiersza tekstu. W języku angielskim wyrazy są łączone łącznikami, aby wskazać specjalną relację w kontekście, ale wyrazy te mogą nie być zwykle dzielone wyrazami w innych kontekstach; na przykład "krok po kroku". Podczas tworzenia indeksu wyłącznik wyrazów powinien traktować łącznik jako separator wyrazów. Na przykład "data-base" będzie przechowywana jako "dane" i "base". W czasie zapytania fraza łącznikowa powinna zostać zamieniona na dwie alternatywy: wariant dwusłowy i prawdziwy związek. Na przykład wyrażenie "data-base" zostanie zastąpione ciągami "data" i "base" i "database". Ta różnica między indeksem a czasem zapytania zwiększa kombinacje reprezentacji wyrazów dzielenia wyrazów i ułatwia dopasowanie wyrazów w zapytaniu.

W poniższej tabeli pokazano, jak traktowanie łączników jako separatorów wyrazów w języku angielskim zwiększa liczbę dopasowanych terminów zapytania dla każdego terminu zawartego w indeksie.

Opętacze

Opętacze to odmiany rzeczownika, które wskazują na posiadanie. Angliki są reprezentowane przez dołączanie apostrofu (') lub apostrofu i (s) do słowa. Na przykład, aby wskazać posiadanie, słowo "Mary" jest reprezentowane jako "Mary's". Wyraz breaker generuje zarówno apostrof, jak i apostrof-s formularzy w czasie zapytania. Zapytania dotyczące "Mary" powinny odpowiadać zarówno "Mary" i "Mary's".

Znaków diakrytycznych

Znaki diakrytyczne są dodawane do litery lub fonemu, aby wskazać specjalną wartość fonetyczną wymowy. Znaki diakrytyczne mogą rozróżniać wyrazy, które są inaczej identyczne graficznie; na przykład "resume" i "résumé" w języku angielskim. Jednak zapisywanie znaków diakrytycznych w indeksie zwiększa liczbę unikatowych kluczy słów w indeksie, co spowalnia wydajność zapytań. Jeśli znaki diakrytyczne są używane tylko minimalnie w języku, wyłącznik wyrazów dla tego języka powinien je usunąć podczas tworzenia indeksu i wykonywania zapytań. Na przykład moduł dzielenia wyrazów w języku angielskim generuje wartość "resume" podczas przetwarzania "wznawiania", co powoduje tylko minimalny wpływ na istotność wyników zapytania.

Clitics

Clitic to niestresowane słowo, które nie jest w stanie stać na własną rękę i dołącza do zestresowanego słowa, aby utworzyć jedną jednostkę. Clitics nie można łatwo sklasyfikować jako ffonologiczne, składniowe lub morfologiczne. Clitics mają dwa typy: proclitics i enlityka. Proclitics dołączają się do początku słowa. Enlityka dołącza się na końcu słowa.

Clitics są trudniejsze do analizowania w językach takich jak hiszpański. Hiszpański czasownik może wygenerować wiele form powierzchni, w zależności od napiętej. Należy wziąć pod uwagę usunięcie interfejsu wiersza polecenia podczas tworzenia indeksu i wygenerowanie formularzy powierzchni poprzez tworzenie zapytań. Usuwanie clitics w przypadkach, gdy morfologia składu clitic jest niejednoznaczna może prowadzić do nieprzewidywalnych wyników. Generowanie dużej liczby formularzy powierzchni dla wyrazu zwiększa rozmiar indeksu pełnotekstowego i może spowolnić wydajność zapytań. Zaleca się, aby stemmer wygenerował tylko niewielką liczbę form powierzchni.