Lingvistiska grundbegrepp

729G09 Språkvetenskaplig databehandling (2016)

Lingvistiska grundbegrepp Marco Kuhlmann Institutionen för datavetenskap

Vad är korpuslingvistik? • Korpuslingvistik handlar om att undersöka språkvetenskapliga frågor utifrån korpusdata. • Utgångspunkt: Språkvetenskapliga undersökningar bör baseras på texter från fältet, i deras naturliga kontexter.

Vad är språkteknologi? • Språkteknologi är all teknologi som skapas för att förstå eller generera naturligt språk. • Språkteknologi är ett tvärvetenskapligt forskningsområde med inslag av datalogi, lingvistik och kognitionsvetenskap. annat namn: datorlingvistik; engelska: natural language processing

Tokenisering

Rå text

Tokeniserad text

Den liknar andra arter inom familjen med böjd näbb, mönstrad brun ovansida, vitaktig undersida och långa styva stjärtpennor som den använder för att kunna balansera upprätt på trädstammar och grenar.

Den liknar andra arter inom familjen med böjd näbb , mönstrad brun ovansida , vitaktig undersida och långa styva stjärtpennor som den använder för att kunna balansera upprätt på trädstammar och grenar .

Denna föreläsning Lingvistiska grundbegrepp Presentation av UPG2

Lingvistiska grundbegrepp

Från form till betydelse

pragmatik

semantik generering

analys syntax

morfologi

Morfologi

pragmatik

semantik generering

analys syntax

morfologi

‘Rose is a rose is a rose is a rose.’ Gertrude Stein (1913)

Många olika typer av ord • Begreppet ord kan syfta på en ordförekomst eller en ordtyp. Rose is a rose is a rose is a rose.

• Två ord kan ha samma form, men vara olika lexem. Jag föredrar slips framför fluga. Det satt en fluga på väggen.

• Två ord kan ha olika former, men ha samma lemma. tanke, tanken, tankar

Skolans nio ordklasser

tagg

kategori

exempel

VB

verb

kasta

NN

substantiv

pudding

PN

pronomen

hon

JJ

adjektiv

glad

AB

adverb

inte

KN

konjunktion

och

PP

preposition

över

RG

räkneord

tre

IN

interjektion

aj

Morfem • Morfem är de minsta betydelsebärande enheterna i ett språk. de minst+a betyd+else+bär+a+nde enhet+er+na

• Ett ord består av ett rotmorfem och noll eller flera affix. rit+a, rit+ar, rit+ning, rit+bart, o+rit+bart

• Morfem är inte alltid sammanhängande. Hebreiska k-t-b ”skriva”: ‫( כתב‬katav) ”skrev”, ‫( מכתב‬mixtav) ”ett brev”

• Morfem består inte alltid av ljud. ett hus vs. flera hus+∅

Varför behöver vi morfologi? • I svenskan böjs de flesta adjektiv efter substantivet. en lång arm – ett lång+t ben, lång+a arm+ar, den lång+a arm+en

• I andra språk böjs även andra typer av ord. Tyska: Ich gehe in das Haus. Wir gehen in die Häuser.

• Genom att detektera böjningar kan vi se vilka ord som hör ihop.

Tre problem med morfologisk analys • Regularitet Hur kan vi representera regularitet i morfologisk variation?

• Flertydighet Time flies like an arrow; fruit flies like a banana.

• Dynamik manspreading, weak sauce, cupcakery

Finita automater som morfologiska lexikon

a 𝑞0

a

𝑞1

a-övergång

p

𝑞2

n

𝑞3

s

𝑞5

s 𝑞4

o 𝑞6

a

s r

n 𝑞7

𝑞8

sluttillstånd

Syntax

pragmatik

semantik generering

analys syntax

morfologi

Fraser Ord i meningar bildar fraser. • nominalfraser (NP) hon. Fredrik Reinfeldt och de nya Moderaterna. 
 ett sådant klassiskt ställe som Operakällaren.

• verbfraser (VP) rodnade. bad henne att öppna fönstret. 
 levde lyckliga i alla sina dagar.

Satser Fraser bildar satser. • deklarativa satser De köpte en hund. Igår köpte de en hund.

• interrogativa satser Köpte de en hund? När köpte de en hund?

• imperativa satser Köp en hund!

Frasstrukturträd S NP

VP

Pro

Verb

I

prefer

NP Det a

Nom Nom

Noun

Noun

flight

morning

Syntaktiska dependensträd

nsubj cpd

xcomp aux

nmod case

mark

1

2

3

4

5

6

7

8

Cray

Computer

has

applied

to

trade

on

Nasdaq

PTB section 00, document 18, item 026; Stanford dependencies (basic)

Semantik

pragmatik

semantik generering

analys syntax

morfologi

Syntax och semantik • Kompositionalitetsprincipen Betydelsen hos ett komplext uttryck avgörs av betydelserna hos dess deluttryck och hur dessa deluttryck har kombinerats. utmaningar: idiomatiska uttryck, kontextualitet

• Syntax har en avgörande roll för en menings betydelse. The brown dog on the mat saw the striped cat through the window. The brown cat saw the striped dog through the window on the mat.

WordNet standard, criterion, measure, touchstone

medium of exchange, monetary system

currency

money

coinage, mintage, specie, metal money

fund, monetary fund

coin

budget

nickel

dime

scale, graduated table, ordered series

Richter scale

‘You shall know a word 
 by the company it keeps.’ John Rupert Firth (1890–1960)

Matris med samförekomster m

ko n ålo

te xt

kung

tron

regerar

Sverige

match

mål

spelar

drottning

4

1

1

2

0

0

0

kung

3

2

1

3

1

0

0

fotboll

1

0

0

4

3

4

2

hockey

0

1

0

1

2

1

1

rd

Ordvektorer m

ko n ålo

te xt

kung

tron

regerar

Sverige

match

mål

spelar

drottning

4

1

1

2

0

0

0

kung

3

2

1

3

1

0

0

fotboll

1

0

0

4

3

4

2

hockey

0

1

0

1

2

1

1

rd

Ord som vektorer krona drottning kung

fotboll

Sverige

Att räkna med ordvektorer

kvinna drottning man

kung

Semantiska dependensgrafer

ARG1 cpd

ARG2

ARG1

ARG2

ARG1

1

2

3

4

5

6

7

8

Cray

Computer

has

applied

to

trade

on

Nasdaq

PTB section 00, document 18, item 026; SDP/DM

Denna föreläsning Lingvistiska grundbegrepp Presentation av UPG2