Espresso - Informatik - FB3

Sprachverarbeitung: • Überblick Software • Bestellungsverwaltungsprozess • Dialogmanagement • Simulation • Sprachverarbeitung

1.

Spracherkennung und Dialog – – – –

Verschiedene Arbeitsphasen

–

• Routengraphen 2.

Software Nuance 8 Prototyp 1: Entwicklung einer Grammatik Prototyp 2: Java Client Prot.3-4: Sprachausgabe, Dialoge, Erweiterungen Prototyp 5-7: Erweiterung der GSL-Grammatik: Optimierung, Small-talk

Sprachgenerierung und Synthese

• Überblick Software • Bestellungsverwaltungsprozess • Dialogmanagement • Simulation • Sprachverarbeitung Verschiedene Arbeitsphasen

• Routengraphen

Spracherkennung: Signalanalyse

Musterabgleich

Frequenzen/Zeitpunkt Merkmalsextraktion Ähnlichkeitsmaß Folge von Lauten, Wörtern als Ergebnis

Lexikalische Dekodierung Syntaktische Analyse

• Überblick Software • Bestellungsverwaltungsprozess • Dialogmanagement • Simulation • Sprachverarbeitung Verschiedene Arbeitsphasen

• Routengraphen

Software: NUANCE 8 Anwendungsgebiet: – Marktführer, sehr präzis – Für kontinuierliche Sprache – Sprecher-unabhängig

Funktionsweise: – Wird mit statistischen Sprachmodellen kombiniert – Geräusch-robuste Merkmalsextraktion – Akustische Adaptation (an Sprecher)

• Überblick Software • Bestellungsverwaltungsprozess • Dialogmanagement • Simulation • Sprachverarbeitung Verschiedene Arbeitsphasen

• Routengraphen

Erkennungs-Grammatik unter Nuance: Grammatikdatei(en): Nuance individuell einsetzen Werkzeug: Nuance Grammar Builder  zum editieren und kompilieren Notation: in Grammar Specification Language (GSL) – Für kontextfreie Grammatiken – Terminalen und nonterminalen Symbolen – Erweiterungen möglich, wie z.B. Wahrscheinlichkeit des Vorkommens

• Überblick Software • Bestellungsverwaltungsprozess • Dialogmanagement • Simulation • Sprachverarbeitung Verschiedene Arbeitsphasen

• Routengraphen

Erkennungs-Grammatik unter Nuance: Konstrukt (...) [...] * +

Bedeutung Konkatenation Disjunktion Kleen’sche Hülle Positive Hülle

?

Option

Beispiel (ich möchte) [tee kaffee] *viel milch

Beschreibung Phrase ’ich möchte’ ’tee’ oder ’kaffee’ ’milch’, ’viel milch’, ’viel, viel milch’, ... +viel milch ’viel milch’, ’viel, viel milch’, ... kaffee ?bitte ’kaffee’ oder ’kaffee bitte’

Auszug aus den Syntaxkonstrukten der GSL

• Überblick Software • Bestellungsverwaltungsprozess • Dialogmanagement • Simulation • Sprachverarbeitung Verschiedene Arbeitsphasen

• Routengraphen

Erkennungs-Grammatik unter Nuance: Beispiel bei espresso: .SATZ (ich möchte einen GETRAENK) GETRAENK [kaffee tee milch milchkaffee]

Durch Einführung von Regeln wird die Grammatik flexibel

• Überblick Software • Bestellungsverwaltungsprozess • Dialogmanagement • Simulation • Sprachverarbeitung Verschiedene Arbeitsphasen

• Routengraphen

Erkennungs-Grammatik unter Nuance: Bei zu großen Grammatiken hingegen,

– wird die Bearbeitung langsamer – die Erkennungsrate sinkt – es können semantisch ungültige Konstrukte generiert werden  möglichst viele denkbare Sätze in die Grammatik, aber nicht alle mögliche (Begrenzung auf Bereiche).

• Überblick Software • Bestellungsverwaltungsprozess • Dialogmanagement • Simulation • Sprachverarbeitung Verschiedene Arbeitsphasen

• Routengraphen

Prototyp 1: Entwicklung einer Grammatik (Bestellungsvorgang) Beispiele von erkannten Sätze: • • • •

Einen Kaffee bitte Mach mir einen Kaffee Für mich einen Kaffee Ich hätte gerne einen Kaffee

– sollte robust sein – ausreichend für erste Versuche (Tests über Nuance Server)

.INIT

[

• Überblick Software • Bestellungsverwaltungsprozess • Dialogmanagement • Simulation • Sprachverarbeitung Verschiedene Arbeitsphasen

• Routengraphen

( BITTE GETRAENK ) ( GETRAENK BITTE ) ( PERSONALPRONOMEN VERB ?(BITTE ?(GERNE)) GETRAENK ) ] BITTE [ ?(bitte)

] GERNE [ ?(gerne) ] PERSONALPRONOMEN [ ich ] VERB [ ( moechte ) ( haette ) ( will ) ]

GETRAENK [ ( einen ?(doppelten) kaffee ) ( eine kanne kaffee ) ( einen ?(doppelten) cappuccino ) ( einen ?(doppelten) latte macchiato ) ( einen ?(doppelten) milchkaffee ) ( einen ?(doppelten) kaffee creme ) ( einen ?(doppelten) milchkaffee ) ( einen ?(doppelten) espresso ) ( milchschaum ) ]

Prototyp 2: • Überblick Software • Bestellungsverwaltungsprozess • Dialogmanagement • Simulation • Sprachverarbeitung Verschiedene Arbeitsphasen

• Routengraphen

– Grammatik erweitert – Java-Client programmiert

Prototypen 3-4: • Überblick Software • Bestellungsverwaltungsprozess • Dialogmanagement • Simulation • Sprachverarbeitung Verschiedene Arbeitsphasen

• Routengraphen

– Integration von Text-to-speech – Integration von Maschinensteuerung – Dialoge entwickelt: • • • • •

Begrüßung Getränke-Repertoire Antwort auf Bestellungen Meldung bei Missverständnis Abbruch der Bestellung

Prototypen 3-4: • Überblick Software • Bestellungsverwaltungsprozess • Dialogmanagement • Simulation • Sprachverarbeitung Verschiedene Arbeitsphasen

• Routengraphen

U: Guten Tag, WMF combination S. M: Guten Tag. Was kann ich Ihnen anbieten? U: Was kannst Du denn alles? M: Ich kann Kaffee, Café Crème, (...). Was ist Ihr Wunsch? U: Ich hätte gerne einen Cappuccino. M: Entschuldigung, ich habe eben leider nicht zugehört. U: Einen Cappuccino bitte. M: Gerne, ich mache Ihnen eine Cappuccino. Einen Moment bitte.

Prototypen 3-4: • Überblick Software • Bestellungsverwaltungsprozess • Dialogmanagement • Simulation • Sprachverarbeitung Verschiedene Arbeitsphasen

• Routengraphen

Weiterer sprachliche Aspekt: Aussprache bei unbekannten Wörtern oder Fremdwörtern:  Dictionary-Files in Lautschrift-Notation bei Nuance aufgeschaeumte combination heisses macchiato milchschaum

aw u f g * S Oj m t * kombineS*n h aj s E S mAkiAto m i l rej S aw m

Prototypen 5 bis Final: • Überblick Software • Bestellungsverwaltungsprozess • Dialogmanagement • Simulation • Sprachverarbeitung Verschiedene Arbeitsphasen

• Routengraphen

– Sprachsynthese und Steuerung in entsprechende Module ausgelagert – Wahrscheinlichkeitswerte in Grammatik – Weitere Dialog-Elemente, Smalltalk

Prototypen 5 bis Final: • Überblick Software • Bestellungsverwaltungsprozess • Dialogmanagement • Simulation • Sprachverarbeitung Verschiedene Arbeitsphasen

• Routengraphen

Sprachgenerierung und -synthese (Kurzer Einblick) • Überblick Software • Bestellungsverwaltungsprozess • Dialogmanagement • Simulation • Sprachverarbeitung Verschiedene Arbeitsphasen Generierung und Synthese

• Routengraphen

– Benutzte Software: Mary (andere: SABLE, SAPI)

– Herausforderung Aussprache/Intonation (Parsen, Satzmelodie finden, Lexikon) – MaryXML-Struktur auf jede Ebene des Prozesses zugreifbar / erweiterbar • Explizite Ausspracheangaben (Kaffeedomäne) • Beeinflussung der Intonation mit GToBI (Notationssystem)

Sprachgenerierung und -synthese (Kurzer Einblick) • Überblick Software • Bestellungsverwaltungsprozess • Dialogmanagement • Simulation • Sprachverarbeitung Verschiedene Arbeitsphasen Generierung und Synthese

• Routengraphen