Biologisch Realisme in Neurale Netwerken

Biologisch geïnspireerde aspecten in gepulste neurale netwerken Michiel Hermans

Promotor: prof. dr. ir. Dirk Stroobandt Begeleiders: dr. ir. Benjamin Schrauwen, ir. Michiel d’Haene

Doelstelling  Neurale netwerken zijn succesvol in verwerken van complexe

niet-lineaire data  Gebaseerd op werking van het brein: netwerk van eenvoudige

rekeneenheden  neuronen  Er bestaat een breed scala aan neuronmodellen: gaande van

zeer eenvoudig tot realistisch maar zeer complex

 Geeft deze biologisch realistische complexiteit een meerwaarde aan computationele vermogens?

Werkwijze Wat gebruiken we?  Gepulste neuronen (conform biologie)  Reservoir-computing

Wat werd onderzocht?  Synapsmodellen en synaptische vertragingen: geheugenwerking  Intrinsieke plasticiteit: regelen van activiteit

Structuur van deze presentatie  Gepulste neuronen  Gebruik van neurale netwerken (reservoir computing) +

onderzochte taken  DEEL 1: opzet en resultaten van gebruik van

synapsmodellen en synaptische vertragingen  DEEL 11: opzet en resultaten van gebruik van intrinsieke

plasticiteit

Gepulste neuronen: algemeen

Gepulste neuronen: algemeen

Basisidee:  Communicatie gebeurt uitsluitend in vorm van discrete pulsen,

de enige informatie in een puls is zijn tijdstip  Ontvangen pulsen drijven interne dynamica aan, die zelf pulsen

veroorzaakt wanneer bepaalde voorwaarden voldaan zijn

Gepulste neuronen: intern Leaky-integrate and fire (LIF)

 Puls komt binnen op synaps  Ogenblikkelijke respons

membraanpotentiaal  Grootte respons evenredig met

gewicht synaps

Gepulste neuronen: intern LIF + exponentiële synapsen

 Puls komt binnen op synaps  Synaps veroorzaakt stroom  Integraal stroom wordt respons

membraanpotentiaal  Als s = 0 terug vorige situatie:

geen synapsmodel

Gepulste neuronen: intern pulsen

Zonder synapsmodel

Met synapsmodel

Neuraal netwerk: reservoirconcept

Neuraal netwerk: reservoirconcept

Neuraal netwerk: reservoirconcept

Neuraal netwerk: reservoirconcept

Neuraal netwerk: reservoirconcept

Meten van prestaties: taken Temporele patroon-classificatie:

Meten van prestaties: taken Temporele patroon-classificatie:

 Volgorde:

Meten van prestaties: taken Temporele patroon-classificatie:

 Volgorde:

 Woordherkenning: Engels gesproken cijfers van “zero” tot “nine”

ste 1

deel:

interne tijdschalen + vertragingen: geheugenwerking

Geheugenwerking  In reële toepassingen is relevante informatie verspreid

over de tijd:

 Neuraal netwerk moet in staat zijn informatie enige tijd bij te

houden  Deze informatie moet kunnen interageren met nieuwe

Geheugenwerking Interne tijdschalen:  Twee tijdsconstanten: m en s

 Zorgen voor een intern

geheugen van het neuron

Synaptische vertraging:  Connecties hebben vaste

vertraging  Op elk ogenblik informatie van

verschillende momenten in het verleden  Ook gebaseerd op biologie

Resultaten: Interne tijdschalen  Foutfractie in functie van m en s  Geen synaptische vertragingen

Resultaten: Interne tijdschalen Woordherkenning  Weinig afhankelijk van m  Slechte prestatie als s = 0

 Optimum m = s = 100 ms:

foutfractie gemiddeld 1,84 %

 Komt overeen met relevante

tijdschaal in spraak

Resultaten: Interne tijdschalen Volgordeclassificatie  Optimum m = s = 40 ms:

foutfractie gemiddeld 1,1 %  Werkt ook nog goed zonder

synapsmodel

Resultaten: vertragingen

Resultaten: vertragingen • Vertragingen uniform gekozen tussen 0 en dmax

• Gemiddelde vertraging = optimale s uit vorige test • Foutfractie in functie van m

• 3 neuronmodellen met vaste verhouding m en s :

• Halen we betere prestaties?

Resultaten: vertragingen Woordherkenning

Foutfractie

Foutfractie

Volgorde

Heel wat beter

Een beetje beter

Conclusies: • Zowel synapsmodellen als synaptische vertragingen leveren meerwaarde aan temporele prestaties! • Beste prestaties wanneer de tijdschalen van het reservoir overeenkomen met de tijdschalen van de taak.

de 2

deel:

Adaptatie en regeling van activiteit: intrinsieke plasticiteit

Intrinsieke plasticiteit Biologische neuronen regelen hun activiteit:  Bij te weinig invoer verhogen ze gevoeligheid zodat ze alsnog

pulsen sturen  Omgekeerd: bij te veel invoer verlagen ze hun gevoeligheid zodat ze minder pulsen sturen  Deze eigenschap noemen we intrinsieke plasticiteit (IP)

In willekeurig geconstrueerd reservoir:  Bepaalde neuronen worden steeds gestimuleerd, andere steeds

geremd in activiteit  Zeer grote spreiding activiteit: sommige neuronen vuren helemaal niet, andere veel te veel

Intrinsieke plasticiteit Hoe implementeren we IP in LIF-neuronen? Variabele vuurdrempel:  Vuurdrempel daalt lineair tussen uitgezonden pulsen  Bij uitzenden van puls wordt vuurdrempel verhoogd met vaste waarde

Intrinsieke plasticiteit Hoe gaan we praktisch te werk?  Optimale opzet uit vorige resultaten  Eerst testfase: IP staat uit  Dan plastische fase

 IP staat aan  Netwerk wordt gevoed met

volledige dataset  Vuurdrempels kunnen veranderen  Opnieuw testfase, enz. …  Proces wordt enkele malen herhaald

Intrinsieke plasticiteit: resultaten

Intrinsieke plasticiteit: resultaten

Intrinsieke plasticiteit: resultaten

Conclusies  IP zorgt ervoor dat alle neuronen ongeveer evenveel deelnemen in de taak  IP geeft verbetering van prestatie voor alle taken  Woordherkenning best na 1 adaptatiecyclus (foutfractie: 1,85%  1,35%)

Toekomstig werk In het kader van biologisch realisme  Meerdere tijdschalen per neuron  Nog realistischer neuronmodellen  Invoeren van biologisch realistische connectietopologie  Maximale prestatie voor minimale activiteit  Invoeren van andere plasticiteitsregels:  STDP  dynamische synapsen…  …

…

Bedankt voor de aandacht

Einde … tenzij er nog vragen zijn…