Språk Analys
Nu när vi har en grundläggande förståelse av de enheter språk, kan vi börja undersöka hur en dator kan behandla dem. Luger och Stubblefield (1998) identifiera flera viktiga analysmetoder för språkförståelsen:
Lingvister har klassiskt föredragit användningen av stela strukturerad analys tekniker såsom grammatik och ord för att studera språk. Datavetare har funnit att denna teknik inte tillåter tillräcklig flexibilitet för att bearbeta "ogrammatiska meningar", slang och förvrängd input. Således AI forskare har etablerat andra metoder.
De har infört mer flexibla datastrukturer och parallella tekniker parsning som gör att flera analystekniker för att köras parallellt, samtidigt förena sina resultat.
Produktionsregler (OM-DÅ regler baserade på logik som möjliggör viss förståelse av ingång text som ska härledas) och semantiska nätverk har använts för att uppnå större bearbetning möjligheter.
Semantiska nätverk nätverk är en allmän föreställande teknik och de används inom NLP för flera olika ändamål (Beardon et al, 1991). En av de mest kraftfulla är representationen av typ hierarkier (eller kunskap hierarkier ) som gör det möjligt för oss att fånga upp egenskaperna för andra objekt genom en process av arv. Se en grafisk exempel.
Alla dessa tekniker leder till samma fokus: behovet av att kunna bearbeta inmatningsspråk och kontrollera så många fakta som möjligt. Några vanliga bearbetning mål att bestämma:
- vilka objekt var inblandade
- vad som hände
- när det inträffade
- vad var resultatet
Morfologi
Morfologi analys hjälper besluta om användningen av ett ord i en mening genom att analysera effekten av prefix och suffix, vilket ger information om spänd, antal, och en del av tal.
Morfologisk analys
En morfologisk analys innebär former bearbetning ord utan att ta hänsyn sammanhang. Word-formulär definieras av Popov som "den del av en text som ligger mellan två ämnen (skiljetecken anses också ordformer)".
Normala steg i MA
- söker efter ett ord form i ordboken
- särskilja stammen av ordet
- sökandet efter stammen i ordboken av stammar
- word-kombinationen behandling
- pre-syntax
Med de flesta europeiska språk, meningen analysen traditionellt delas in i morfologiska, syntaktiska och semantisk analys. Analys av asiatiska språk är en mycket annorlunda och svår process på grund av strukturen av dessa språk.
Processorn är givna mål eller mål för analys. Gemensamma mål är:
- identifierande ord
- bestämma de som motsvarar evenemang
- urskilja och bearbeta nominella grupper
Grammatik och syntax
Grammatiska regler kan ge oss information om händelserna äger rum. Vi kan bestämma hur många objekt har påverkats och om de åtgärder ägde rum i det förflutna, kommer att äga rum i framtiden eller bara har en chans att hända. Eftersom språket är suddig, kan de klassiska språkanalys tekniker ger inte djup förståelse som människan uppnå. Grammatik är bara ett sätt att för en maskin för att komma närmare den förståelsen.
Omedelbar Beståndsdel Analys (IC)
Denna typ av analys var uppfunnen av Bloomfield (Crystal, 1971) som visade hur du kan ta en mening och dela upp det i två omedelbara beståndsdelar. Till exempel använde han meningen Poor John sprang iväg. Han delade först detta upp i ett ämne och ett predikat:
Angående: Dålig John
Predikat: sprang iväg
I sin tur finns delades upp i Dålig och John, och drev och bort. Således var han en av de första att se meningen inte som en sekvens, utan som en serie av lager på beståndsdelar. Således träd diagram började användas för visuell referens till språkstruktur.
Styrkor: Ger en början titt på strukturen i språket
Svagheter: Det spelar ingen anser grammatiska relationer.
Kan inte säga mellan aktiva och passiva meningar, visar inte att "Den mannen såg Johns mamma" och "John mor sågs av att människan" är nästan samma.
"Deep" Syntax
Djupt syntax är ett mycket bättre sätt att representera en mening. Djupa syntaxträd (se nedan) tillåta lagring på ett mer systematiskt sätt och flexibelt sätt. Deras struktur gör det möjligt för enkla konverteringar mellan passiva och aktiva, mellan olika tempus, och de underlättar också översättningar till andra språk.
En djup syntax träd för meningen - "John verkar veta svaret"
Semantik
I allmänhet är semantik studiet av mening. En maskin måste analysera i detalj eventuella indata för att härleda en mening från den. Det måste dela upp meningen i syntaktiska komponenter, lager för lager. Ofta finns det mer än en möjlig mening ur meningen och så en maskin kommer antingen måste gissa med hjälp av erfarenhet, heuristik eller genom att bestämma den lämpligaste innebörden i enlighet med de meningarna före och efter det. Således eftersom maskinen behöver ta hänsyn inte bara betydelsen av meningen, men också av mer bred diskursen, skulle den behöva stödja flera parsning.
Pragmatik
I grova drag är pragmatik det sätt som inställningen av meningen i en diskurs används för att bestämma den riktiga tolkningen. De viktigaste funktionerna i pragmatik är kontext och referens. Dessa kommer att diskuteras senare under Inference .