Mind Express - Telenet Users

Mind Express Veel meer dan ondersteunde communicatie Bart Noé & Jo Cremelie Bart Noé en Jo Cremelie zijn beide burgelijk ingenieur, afgestudeerd aan de Universiteit van Gent in 1987 en 1994. Ze zijn sindsdien voltijds actief betrokken bij de ontwikkeling van technologische oplossingen voor personen met een handicap. Het bedrijf Technologie & Integratie, waar zij werkzaam zijn, ontwikkelt en produceert zowel hardware – als softwareproducten, voornamelijk gebaseerd op spraak - en taaltechnologie.

1. De Bliss Stem In het begin van de jaren tachtig ontstond het idee om voor een meisje met een meervoudige motorische en communicatieve handicap een sprekende computer te ontwikkelen. Zij maakte toen al gebruik van een Bliss-symbolenkaart om zich verstaanbaar te maken. Toch bleef ze beperkt in haar communicatie omdat ze steeds afhankelijk was van een andere persoon die wou meevolgen wat ze te vertellen had. Een koppeling van haar symbolenkaart met een ‘sprekende’ computer die de Blisssymbolen omzette naar gesproken boodschappen zou hierin een grote vooruitgang betekenen. In 1985 slaagde een gemotiveerd, multidisciplinair team erin een eerste prototype van de Bliss Stem aan de ‘praat’ te krijgen. Het toestel bestond uit een speciale rolwagentafel waarop de symbolenkaart werd aangebracht op een matrix van magnetische sensoren. De rolwagentafel was verbonden met een stuk hardware, ‘de spraakcomputer’. Dit apparaat was in staat het aangeduide symbool om te zetten naar een gesproken boodschap. In het eerste prototype werd de spraak gegenereerd door reproductie van opgenomen boodschappen. Later, bij de commercialisatie van het prototype werd gebruik gemaakt van ‘tekst-naar-spraak algoritmes’ om de gesproken boodschappen te genereren.

2. BlissMaster - Mind Express Met de komst van de multimedia-computer ontstond het idee om de functionaliteit van de Bliss Stem te vertalen in een softwareprogramma. De Bliss Stem was immers een persoonlijk communicatiehulpmiddel, telkens gemaakt op maat van een specifieke gebruiker. Voor de instituten was er nood aan een flexibel hulpmiddel dat inzetbaar zou zijn voor meerdere gebruikers. Op de viering 10 jaar Bliss Stem in 1995 werd een eerste versie van het programma, dat toen de naam BlissMaster meekreeg, voorgesteld. Er werd een gebruikersteam opgericht met als doel het programma kritisch te evalueren en feedback te geven over wat er op vlak van functionaliteit kon verbeteren. Al gauw bleek dat de naam BlissMaster de lading niet volledig dekte. Het programma kon immers ook met

andere symbolen dan de Bliss symbolen werken. Uiteindelijk kreeg het softwareprogramma de naam “Mind Express”.

3. Het concept Het concept van Mind Express is in wezen vrij eenvoudig. In het programma kunnen verschillende roosters (pagina’s) opgebouwd worden bestaande uit een instelbaar aantal vakjes.

4

6

In elk vakje kan een visueel object opgenomen worden waaraan een bepaalde actie gekoppeld wordt. In de meeste gevallen is dit de koppeling van een gesproken boodschap aan een symbool:

‘drinken’

Bijvoorbeeld aan het symbool voor drinken wordt het werkwoord ‘drinken’ gekoppeld. Bij selectie van het symbool zal het werkwoord ‘drinken’ uitgesproken worden. Voor een toepassing bij ondersteunde communicatie zal men op die manier een aantal logische kaarten samenstellen die hoofdzakelijk bestaan uit dergelijke koppelingen.

4. De symbolenbibliotheek Voor wat betreft de visuele objecten kan men in Mind Express beroep doen op een aantal symbolenbibliotheken: Bliss, Beta, PCS, Vijfhoek, Rebus en Picture This.

Symbool voor ‘drinken’ volgens de verschillende symbolendatabanken

Deze databanken zijn gecategoriseerd in een aantal hoofdcategorieën met telkens een aantal subcategorieën. Zo is bijvoorbeeld de hoofdcategorie ‘drank en voeding’ onderverdeeld in de subcategorieën ‘dessert’, ‘dranken’, ‘fruit’, ‘groenten’, ‘snoep’, ‘verpakkingen’, ‘vlees’ en ‘andere voeding’. Dit laat toe om vrij vlug themakaarten samen te stellen.

Het gebruik van andere symbolen of foto’s is uiteraard ook mogelijk. Via de databank ‘Andere’ krijgt Mind Express toegang tot alle foto’s, ClipArts of eigen tekeningen die op de harde schijf aanwezig. Dit voor zover ze opgeslagen zijn volgens een bepaald beeldformaat (bmp, jpg, gif of wmf).

5. De acties Het laten uitspreken van een bepaalde boodschap bij selectie van een bepaald symbool is zoals reeds eerder vermeld de meest voor de hand liggende actie die gekoppeld kan worden aan een visueel object. Hierbij kan gebruik gemaakt worden van ‘tekst-naar-spraak technologie’ of van geluidsopnames. Bij het gebruik van tekstnaar-spraak-technologie wordt de (tekst)boodschap die toegekend wordt aan een bepaald symbool gewoon ingetikt in het inhoudsvenster van het symbool. De tekstnaar-spraak technologie zorgt ervoor dat bij selectie van het symbool de bijhorende ingetikte boodschap uitgesproken wordt. Voor de koppeling van een geluidsopname aan een symbool kan gebruik gemaakt worden van de ingebouwde opnamefaciliteit. Er bestaan tegenwoordig heel wat interessante geluidsbestanden, te vinden op Cd-rom of op Internet, die direct gebruikt kunnen worden. Naast deze ‘communicatieve’ acties bestaan er tal van andere acties

of commando’s die aan om het even welk visueel object kunnen gekoppeld worden. Hierna worden de belangrijkste commando’s of functies kort belicht. Heel erg belangrijk zijn de paginaverwijzers die toelaten om andere kaarten op te roepen. Zo kan bijvoorbeeld aan het symbool voor eten een kaart met de symbolen en boodschappen in verband met de voeding gekoppeld worden. Op die manier kan een logische structuur opgebouwd worden met verschillende themakaarten. De complexiteit ervan moet in functie van de noden en de mogelijkheden van de gebruiker staan. Een andere interessante functie wordt ingevuld door de niveauverwijzers. In Mind Express kunnen aan ieder symbool drie verschillende betekenissen (niveaus) gegeven worden. Het symbool voor ‘ik’ heeft bijvoorbeeld als eerste betekenis het persoonlijk voornaamwoord ‘ik’ (niveau 1). Een logische tweede betekenis (niveau 2) kan de eigennaam zijn, terwijl een derde betekenis de meervoudsvorm ‘wij’ zou kunnen zijn.

niveau 1: ik niveau 2: Peter niveau 3: wij

actie: ga naar niveau 2

actie: ga naar niveau 3

Het activeren van een bepaald niveau gebeurt door middel van een symbool waaraan de respectievelijke niveauverwijzer gekoppeld is. Een symbool voor ‘naam’ zou in het voorbeeld de niveauverwijzer ‘ga naar niveau 2’ krijgen. Selectie van het symbool voor ‘naam’ gevolgd door de selectie van het symbool ‘ik’ resulteert dan in dit geval in het uitspreken van de eigennaam. Het Bliss symbool voor meervoud zou in het voorbeeld ‘ga naar niveau 3’ als actie meekrijgen. Het werken met niveauverwijzers laat toe om met een relatief beperkt aantal symbolen meerdere boodschappen te genereren (theoretisch 3 maal het aantal symbolen), waarbij een vorm van woordstrategie kan toegepast worden. De uitdaging bestaat erin de gebruiker niet te confronteren met deze technieken maar een communicatiekaart zodanig op te bouwen dat deze gebruiker ondanks zijn of haar beperking er gemakkelijk kan leren mee omgaan. Mind Express bevat een grammaticamodule die ervoor zorgt dat werkwoorden automatisch vervoegd worden. Ook meervoudsvormen van zelfstandige naamwoorden en verbuigingen van adjectieven worden ondersteund. Mind Express is hierin niet feilloos, maar in de meeste gevallen slaagt Mind Express erin correcte zinnen te genereren. Hierbij kunnen een aantal extra grammaticafuncties toegepast worden. Zo kan bijvoorbeeld aan het woord ‘veel’ de eigenschap meervoud gegeven worden. Mind Express zal dan het eerstvolgende zelfstandig voornaamwoord automatisch in het meervoud weergeven of uitspreken. De hulpwerkwoorden ‘hebben’ en ‘zijn’ kunnen de grammaticafunctie ‘voltooid deelwoord’ krijgen. Het eerstvolgende werkwoord

wordt dan automatisch omgezet in het voltooid deelwoord. Op die manier slaagt Mind Express erin de zin ‘ik heb lekker gegeten’ te vormen na opeenvolgende aanduiding van de symbolen voor ‘ik’, ‘hebben, ‘lekker’, ‘eten’. Om dit te realiseren bevatten de symbolendatabanken niet alleen de grafische informatie van een symbool maar ook de woordsoort (bijvoeglijk naamwoord, persoonlijk voornaamwoord, zelfstandig naamwoord of werkwoord) en de bijhorende afleidingen. Deze woordsoort en zijn afleidingen kunnen op ieder ogenblik aangepast worden zodat ook nieuwe symbolen of foto’s voorzien kunnen worden van deze noodzakelijke informatie.

Communiceren met behulp van Mind Express kan door een opeenvolgende selectie van symbolen uit de communicatiekaart, een manier die vanzelfsprekend is als directe selectie mogelijk is (aanraakscherm of muisbediening). De boodschap kan echter ook voorbereid worden om dan later in zijn geheel te laten uitspreken. Hiertoe beschikt Mind Express over een aantal functies en een zinsbalk waarin de gevormde zin met symbolen of tekst wordt afgebeeld. Deze brieffuncties laten toe zinnen (of brieven) te vormen en te laten uitspreken. De gevormde zinnen of brieven kunnen eventueel door de gebruiker zelf bewaard worden onder een vrij niveau van een symbool of als bestand op de harde schijf van de computer. Deze faciliteit is erg zinvol ter voorbereiding van een communicatie (bijvoorbeeld als er bezoek komt) of voor het bijhouden van een dagboek of agenda.

Een visueel object kan ook gekoppeld worden aan een Windows programma om het via Mind Express op te starten. Zo kan bijvoorbeeld het symbool voor muziek of een foto van een favoriete zanger gekoppeld worden aan de mediaplayer om op die manier muziekbestanden te laten afspelen. Een heel concrete toepassing hiervan is de ‘jukebox’ kaart waarmee de gebruiker zijn eigen muziek zelfstandig kan beluisteren. Tenslotte is het mogelijk om via Mind Express de omgeving te controleren. Een symbool wordt dan door het programma gekoppeld aan een programmeerbare afstandsbediening. Op die manier kan een gebruiker met beperkte handfunctie bijvoorbeeld radio en televisie bedienen. Naast de actie om via selectie van een symbool een bepaalde boodschap te laten uitspreken zijn er dus heel wat andere acties mogelijk. Het is zelfs mogelijk om aan één visueel object meerdere acties te koppelen (maximaal 5). Dit wordt vaak toegepast bij de paginaverwijzers. Zo kan bijvoorbeeld het symbool voor eten eerst de zin ‘ik heb honger’ (de eerste actie) laten uitspreken om vervolgens de kaart met voeding op te roepen (de tweede actie). De kunst of ervaring bestaat erin een goede keuze te maken van het visueel object waaraan de actie(s) gekoppeld wordt zodat de toepassing voor de gebruiker bijna vanzelfsprekend wordt.

6. De bedieningsmogelijkheden De meest natuurlijke selectiemethode is de directe aanduiding met behulp van een aanraakscherm. Het symbool aanraken volstaat dan om de bijhorende boodschap te activeren. Bediening via muis of trackbal kan uiteraard ook. Voor gebruikers die het moeilijk hebben de muisknop in te drukken is het mogelijk een automatische selectie in te stellen. Van zodra de muisindicator zich gedurende een instelbare tijd binnen hetzelfde vakje bevindt zal de selectie automatisch gebeuren. Deze selectiemethode wordt ook wel ‘dwelling’ genoemd en is onmisbaar voor personen die de muis via hoofdbewegingen controleren. Voor een gebruiker die niet in staat is een vakje te selecteren via directe selectie of met behulp van een muis of trackbal biedt Mind Express een aantal alternatieve bedieningsmethodes. In de bedieningsmode ‘joystick’ kan de gebruiker een vakje selecteren met behulp van een joystick. Tegenwoordig bestaan er verschillende uitvoeringen van een joystick. Indien de gebruiker enkel in staat is om één of twee schakelaars te bedienen, dan kan een selectiemethode toegepast worden op basis van een scanningsalogritme. In principe is het zo dat alles wat in Mind Express ontwikkeld wordt bediend kan worden met één schakelaar.

Bij scanning met één schakelaar zal Mind Express volgens een bepaalde methode en aan een bepaald instelbaar tempo het communicatierooster overlopen. Om het gewenste symbool te selecteren moet gewacht worden tot Mind Express het betreffende symbool aanbiedt (lineaire scanning). Op dat ogenblik volstaat het de schakelaar te activeren om de selectie uit te voeren. Is de gebruiker in staat een tweede schakelaar te controleren dan kan de scanmode met twee schakelaars toegepast worden. De tweede schakelaar wordt dan gebruikt om op eigen tempo het communicatierooster te overlopen volgens de gekozen scanmethode. Onderstaande tabel geeft een overzicht van de mogelijke scanmethodes.

Rij-kolom

Mind Express scant eerst de verschillende rijen en daarna de vakjes van de geselecteerde rij.

Lineair

Alle vakjes worden één na één doorlopen, telkens van links naar rechts.

Kolom-rij

Mind Express scant eerst de verschillende kolommen en daarna de vakjes van de geselecteerde kolom.

Zigzag

De rijen van het rooster worden zigzag gescand.

Blok

Het rooster wordt opgedeeld in blokken. Telkens één blok geselecteerd is, wordt het resterende blok opnieuw opgedeeld in twee blokken. Dit gaat zo verder tot een vakje overblijft.

In functie van de gebruikte scanmethode en het aantal schakelaars kunnen nog een aantal parameters ingesteld worden om het scannen te optimaliseren voor de gebruiker. Zo kunnen vertragingstijden voor de schakelaars ingesteld worden om ongewenste selecties uit te filteren. Er kan gekozen worden voor selectie bij indrukken of bij loslaten van de schakelaar. Ook de indicator (en de kleur) waarmee het scannen visueel wordt voorgesteld kan aangepast worden enzovoort. Een heel specifieke scanmethode is de auditieve scanning. Hierbij wordt het visueel scannen ondersteund door een auditieve feedback. Mind Express zal in dit geval de

boodschap van het aangeboden vakje ook uitspreken. Deze optie is vooral belangrijk voor gebruikers met een bijkomende visuele beperking. Het is niet eenvoudig en het vraagt wat ervaring om de meest geschikte bedieningsmethode te vinden voor een bepaalde gebruiker. Toch is dit een bijzonder belangrijk aspect in de toepassing van Mind Express want als het ‘knopje’ niet werkt dan kan de gebruiker met al deze technologie weinig aanvangen. Het maken van allerlei spelletjes en oefeningen kan helpen bij het vinden en het inoefenen van de meest geschikte bedieningsmethode.

7. Toepassingen Mind Express is oorspronkelijk ontwikkeld als een programma waarmee oplossingen voor ondersteunde communicatie kunnen gemaakt worden. Door zijn open structuur is het echter mogelijk andere toepassingen uit te werken. Een aantal therapeuten heeft daar van in het begin heel creatief gebruik van gemaakt. Hun feedback heeft ons geholpen Mind Express te laten evolueren zodat het programma ook voor therapie en onderwijs inzetbaar is. In wat volgt worden een aantal toepassingen aangehaald.

7.1. Ondersteunde communicatie Het uitwerken van een woordenschat voor een gebruiker is geen eenvoudige taak. Het gaat veel verder dan de keuze van de symbolenset en de selectiemethode. Aan de hand van een checklist kunnen de eerste voorbereidingen aangevat worden. Deze checklist moet rekening houden met visuele, motorische, talige en structurele aspecten. Mind Express kan hierin helpen omdat het programma toelaat deze verschillende aspecten uit te werken met concrete voorbeelden die vervolgens kunnen uitgetest worden bij de gebruiker. Het Mind Express Communicatieboek en de Mind Express Situatiekaarten zijn een voorbeeld van een uitgewerkt communicatiesysteem. Ze bevatten een kernwoordenschat van ongeveer 600 symbolen en randwoordenschat waarin 8 situaties zijn uitgewerkt: verzorgen, winkel, restaurant, school, weekend, vakantie, uitstapjes en feest. De kernwoordenschat ondersteunt de gebruiker voor wat betreft de dagdagelijkse communicatie. De situatiekaarten kunnen opgeroepen worden in functie van de situatie waarmee de gebruiker geconfronteerd wordt en als de kernwoordenschat niet meer volstaat.

Kernwoordenschat

Randwoordenschat: Winkelen

In het bovenstaande voorbeeld wordt telkens de eerste kaart van de woordenschat afgebeeld. De eerste rij symbolen zijn functies die de gebruiker in staat stellen zinnen te vormen en te laten uitspreken. Ook de niveauverwijzers ‘niveau 2’ en ‘niveau 3’ zijn opgenomen. Verder zijn er een groot aantal paginaverwijzers ingevuld. De communicatiekaarten kunnen eventueel uitgebreid worden met een dagboek of een agenda. Deze toepassing biedt de gebruiker de mogelijkheid om zelf (of onder begeleiding) zinnen of brieven te maken en ze te bewaren onder een bepaald vakje. Op die manier kan de gebruiker vrij vlot op het einde van de dag vertellen wat er allemaal gebeurd is. Een vergelijkbare toepassing is het leefboek. Dit is bijvoorbeeld een Mind Express bestand dat opgebouwd is als ‘sprekend’ fotoboek en het verhaal vertelt van wie de gebruiker is. Dit boek kan voortdurend meegroeien en is een ideale manier om de communicatie met derden op te starten.

7.2. Therapeutische en educatieve toepassingen De verschillende acties of combinaties van acties die kunnen gekoppeld worden aan bepaalde visuele objecten in het Mind Express rooster laten toe om vrij eenvoudig en relatief vlug allerlei oefeningen op te bouwen. Vaak komt het neer op het creatief toepassen van de paginaverwijzers. Hierbij is het mogelijk visuele en/of auditieve tips of bevestigingen te geven zodat oefening en spel kunnen gecombineerd worden. Door

de toepassing van de brieffuncties is het mogelijk om de verschillende acties van de gebruiker te registreren zodat opvolging mogelijk wordt. Een eenvoudige toepassing is het labyrint waarmee een bepaalde selectiemethode kan uitgetest worden. Het is de bedoeling de vis naar zijn aquarium te brengen door de vakjes waarlangs de vis moet ‘zwemmen’ achtereenvolgens te selecteren.

Een leuke associatieoefening is opgebouwd volgens het misschien nog gekende ‘electro’ spelletje. Het komt erop aan paren te maken van objecten die op een of ander manier bij mekaar horen. Eerst wordt een symbool in de linkerhelft aangeduid. Vervolgens moet een associatie gemaakt worden door een symbool in de rechterhelft te selecteren. Mind Express laat toe om hierbij visuele en/of auditieve bevestigingen te genereren.

Een variatie op de associatieoefening is het dominospel. In het onderstaande voorbeeld moeten ‘dominostenen’ bij elkaar gelegd worden gebaseerd op identieke helften. Het selecteren van de overeenkomende helft volstaat om de ‘steen’ te verplaatsen.

Ook het maken van allerlei geheugenspelletjes behoort tot de mogelijkheden. Hierbij wordt bijvoorbeeld een kaart waarop een aantal objecten staan gedurende een bepaalde tijd getoond. Op een volgende kaart wordt aan de gebruiker gevraagd uit een grotere verzameling de objecten die op de eerste kaart (wel of niet) zichtbaar waren te selecteren (of te verschuiven). Toepassingen met betrekking tot beginnend lezen, schrijven en rekenen kunnen gemakkelijk opgebouwd worden. Opnieuw kunnen verschillende schema’s uitgewerkt worden:

De bovenstaande oefeningen zijn slechts een greep uit de groeiende verzameling van toepassingen die momenteel in verschillende instituten en scholen uitgewerkt en toegepast worden. Dankzij de voortdurende dialoog tussen ontwikkelaars en gebruikers en door zijn open structuur is Mind Express geëvolueerd tot een softwarepakket dat veel meer is dan een oplossing voor ondersteunde communicatie. Het is een ‘bouwpakket’ waarmee een therapeut of een begeleider specifieke oplossingen kan uitwerken en gebruiken bij een ruime doelgroep. Ontwikkelde toepassingen kunnen in functie van de gebruiker gemakkelijk uitgebreid worden en uitgroeien tot een totaaloplossing waarin communicatie, omgevingscontrole, oefening en spel vanuit één en dezelfde gebruikersinterface ondersteund worden… één schakelaar kunnen bedienen is voldoende.