Door statistici veroordeeld

Door statistici veroordeeld? Aart F. de Vos

Lucy de B is tot levenslang veroordeeld. Statistische argumenten speelden hierbij een rol, zij het dat de invloed hiervan in de media overschat is. Er stierven veel mensen rond de tijdstippen dat zij dienst had. Toevallig? De geraadpleegde statisticus, Henk Elffers, herhaalde tijdens het nu dienende hoger beroep zijn eerdere verklaring dat de kans 1 op de 342 miljoen was. Ik citeer uit het artikel “statistici geloven niet in toeval” uit de Haagse courant van 30 januari jongsleden: “"De kans dat er negen dodelijke incidenten plaatshadden in het JKZ in de diensttijd van de verdachte op basis van toeval, is nihil, (…) het was geen toeval. Wat het wel was, weet ik niet. Daar kan ik als statisticus niets over zeggen. Het bewijs is up to you". Uit het verdere verslag bleek dat de rechter grote moeite had met dit antwoord, maar dat men er niet echt uit kwam. Vele getuigen zijn daarna gehoord die het hebben over omstandigheden, aannemelijkheden, merkwaardigheden, onwaarschijnlijkheden en onloochenbaar sterke samenhangen. De rechtbank moet dit alles samenvoegen en tot een wijs eindoordeel komen. Een zware taak, zeker gegeven het juridisch begrippenapparaat dat wel zeer veel elementen die met waarschijnlijkheden te maken hebben omvat maar bij het combineren daarvan de kwantificering en de waarschijnlijkheidsrekening node mist. De cruciale vraag is natuurlijk: hoe groot is de kans dat Lucy de B moorden heeft gepleegd? De meeste leken zullen denken dat Elffers die vraag heeft beantwoord, en dat het dus praktisch gesproken zeker is. Dit is een misverstand. Elffers heeft die vraag niet beantwoord. Elffers is een klassiek statisticus, en klassieke statistici doen geen uitspraken over kansen wat er aan de hand is maar alleen over hoe onwaarschijnlijk dingen zijn als er niets aan de hand zou zijn. Er is echter nog een andere tak van statistiek: de Bayesiaanse. Ik behoor tot dat andere kamp. En ik heb ook zitten rekenen. Met het volgende verbijsterende resultaat: Als de informatie die Elffers gebruikt heeft om tot zijn 1 op 342 miljoen te komen de enige informatie zou zijn waarop Lucy de B veroordeeld was, zou er volgens mij ongeveer 75% kans zijn dat dit ten onrechte geschiedde. Over dit grote contrast gaat dit artikel. Het is geen aanklacht tegen Elffers, die zich in de rechtbank uiterst bescheiden opstelde bij de interpretatie van zijn uitkomst en ook geen pleidooi om Lucy de B vrij te spreken want de rechtbank hanteert voornamelijk andere argumenten, zij het helaas zonder eenduidige kansuitspraken terwijl er niets met absolute zekerheid vaststaat. Bayesiaanse statistiek Mijn berekeningen zijn dus gebaseerd op de alternatieve statistiek, de Bayesiaanse, vernoemd naar Thomas Bayes, de eerste die schreef over de ''omgekeerde kansen''. Dat was in 1763. Echt belangrijk werd zijn vondst pas na 1960, vooral door het werk van Leonard Savage, die bewees dat je bij beslissen onder onzekerheid niet om de vraag heen kunt welke kansen de mogelijke toestanden van de waarheid hebben. (in ons geval de toestanden ''schuldig'' en ''niet schuldig''). Bayes leerde hoe je over dat soort kansen kan leren uit data. Over de vorm van die berekeningen zijn de geleerden het eens, dat is pure waarschijnlijkheidsrekening. Er is echter één probleem: je moet bedenken welke kansen je aan de toestanden zou hebben gegeven voordat je je data gezien had (de prior). En

vaak zijn dat subjectieve kansen. En als je weinig data hebt is de invloed van die subjectieve kansen op je eindoordeel groot. Een reden voor veel klassieke statistici om zich tegen deze benadering te verzetten. Zeker in Nederland, waar statistiek vooral bedreven wordt door wiskundigen, mensen die erin getraind worden vraagstukken op te lossen zonder zich af te vragen wat ze met de werkelijkheid te maken hebben. Na een fanatieke strijd over grondslagen van decennia (zie mijn stuk “de godsdienstoorlog der statistici” op http://staff.feweb.vu.nl/avos/default.htm) zijn de partijen wat nader tot elkaar gekomen. Met één uitzondering: de klassieke toets. Bayesianen hebben fundamentele bezwaren tegen klassieke toetsen. En Elffers’ uitspraak heeft de vorm van een klassieke toets. Hier spitst het grondslagendebat zich dus toe. Het geval Lucy Klomp In navolging van Elffers die zijn wijze van berekenen in het Nederlands Juristenblad heeft toegelicht aan de hand van een fictief geval (dat ik ook heb doorgerekend om tot totaal verschillende conclusies te komen) wil ik het hebben over het fictieve geval Lucy Klomp. Lucy Klomp is een verpleegster die 11 sterfgevallen heeft meegemaakt in een periode waarin gemiddeld slechts “één geval voorkomt, maar waar geen verdere aanwijzingen tegen zijn te vinden. Elffers zou in de rechtbank ook in dit geval een extreem kleine kans op toeval rapporteren, 1 op de 100 miljoen ongeveer. Dit is het geval waarvan ik beweer dat een veroordeling een kans van ongeveer 75% heeft ten onrechte te zijn. De berekening hiervan gaat niet met kansen, maar met “odds”, een onvertaalbaar woord, dat in Nederland niet leeft. Odds van 3 om 7 betekenen een kans van 3/10 dat het wel zo is en 7/10 dat het niet zo is. Voor een eenvoudige Bayesiaanse berekening heb je twee elementen nodig. De “prior odds” en de aannemelijkheidsverhouding. Als de kans op 11 doden 1 op 100 miljoen is wanneer Lucy Klomp onschuldig is, en 1 op 20 wanneer zij schuldig is dan is de aannemelijkheidsverhouding voor onschuldig tegen schuldig 1 om 5 miljoen. De prior odds komen van de kans dat een willekeurige verpleegster moorden pleegt. Die schat ik op 1 om 400.000. Er zijn veertigduizend verpleegkundigen in ziekenhuizen in Nederland, dus dat zou betekenen dat er eens per 10 jaar een verplegende moorden pleegt. Ik hoop dat dat een overschatting is. De stelling van Bayes zegt nu dat de odds in geval van 11 doden 400.000 om 5 miljoen worden. Je moet gewoon de prior odds vermenigvuldigen met de aannemelijkheidsverhouding. Dus 4 om 50. Dus een kans van 7,5% dat zij onschuldig is. De uitleg kan vrij simpel: in 200 jaar is er 1 moordlustige verpleegkundige waarbij 11 sterfgevallen (al of niet vermoord) voorkomen, maar de kans dat een onschuldige verpleegster dit overkomt is 40.000*200/100.000.000=8%. De klassieke toets kijkt niet naar de prior, en het moge duidelijk zijn dat het verschil in grootteorde tussen klassieke en Bayesiaanse uitkomsten hier vooral aan de prior ligt. Maar ook dat die prior helemaal niet zo subjectief is. Door aanvullend statistisch onderzoek kan hij bovendien nader gepreciseerd worden. Het mooiste aspect van een Bayesiaanse analyse is dat je steeds informatie kunt toevoegen. Van prior odds kom je via data (11 sterfgevallen) op posterior odds, en die zijn weer prior odds voor de volgende stap. Stel je zoekt verdachte aanwijzingen, maar je vindt ze niet, dan is dat vreemd als er zoveel moorden hebben plaatsgevonden. Je dacht toch dat er bij zoveel moorden wel 50% kans was dat je iets zou vinden. Dan is er weer sprake van een aannemelijkheidsverhouding: de kans dat je niets vindt is als er niets aan de hand is 100%, anders 50%, een factor 2. De regel van Bayes wordt weer toegepast en

de odds gaan naar 8 om 50. Ruim 13% kans dat een veroordeling ten onrechte is. En als de verdachte niet bekent is dat ook aannemelijker als zij onschuldig is. De odds gaan naar 16 om 50. En de klapper komt nog. Het uitgangspunt was een kans op 11 doden van 1 op 100 miljoen. Dat cijfer is berekend ervan uitgaande dat de kans op een sterfgeval bij een verpleegster bekend is, terwijl in werkelijkheid zo’n kans geschat moet worden en er ook veel onzekerheid is over de vraag of die kans voor alle verplegenden dezelfde is. Variaties in vaardigheden en omstandigheden zijn regel. De Bayesiaanse methodiek biedt de mogelijkheid al deze onzekerheden mee te nemen in de analyse en het standaard resultaat is dat de kans op extreme gebeurtenissen enorm toeneemt. Dat is logisch: de kans dat er een andere verklaring is dan moord stijgt ook met het aantal sterfgevallen. Ik denk, op basis van ervaring, dat een Bayesiaanse analyse van Elffers’data (die ik helaas niet heb), uit zou komen op een kans dat er onder normale omstandigheden 11 doden vallen van minstens 1 op 10 miljoen. Tien maal zo groot dus. Dan gaan de odds naar 160 om 50 en is Lucy Klomp waarschijnlijk onschuldig. Dit is de 75% kans op onschuld die ik in het begin genoemd heb. Vrijwel alle feiten die in een rechtzaak naar voren komen kunnen op deze manier in de analyse verwekt worden. Ieder feit dat een andere aannemelijkheid heeft onder de hypothese schuldig dan onder de hypothese onschuldig draagt bij. Waarbij wellicht is opgevallen dat het uitsluitend om kansen die betrekking hebben op wat de facto gebeurd is, nooit op wat had kunnen gebeuren. Een klassieke toets heeft het altijd over de kans op 11 of meer sterfgevallen. Dat of meer is volgens Bayesianen irrelevant. Dat is vooral van belang onder de hypothese “schuldig”: omdat er veel onzekerheid bestaat over de mate van moordlust van een schuldige is de kans op precies 11 doden niet zo heel groot (een kleine 5% in mijn berekeningen). Dus ook nader onderzoek op dat punt kan de odds wijzigen. Het moge duidelijk zijn dat het niet echt eenvoudig is om tot uitspraken te komen als er geen overtuigend bewijs is. Het beroemdste voorbeeld waar veel Bayesiaans aan gerekend is, is een moord in 1956 in Californie, gepleegd door een zwarte man met een blanke vrouw in een gele Cadillac. Een stel dat aan deze beschrijving voldeed werd voor de rechter gesleept, en vele statistische analyses volgden. Ik heb zelf veel aan dit voorbeeld gerekend, en ervaren hoe moeilijk maar ook verrassend en bevredigend het is om steeds nieuwe elementen toe te voegen. Aan een beroemd ander geval is zelfs een heel boek gewijd: ''a Probabilistic Analysis of the Sacco and Vanzetti Evidence'', in 1996 gepubliceerd door Jay Kadane, hoogleraar aan Carnegie Mellon en een van de meest vooraanstaande Bayesianen. Wie meer wil weten raadplege zijn cv op zijn website http://lib.stat.cmu.edu/~kadane. Alleen al op het terrein ''Statistics and the Law'' heeft hij meer dan dertig publicaties op zijn naam staan, naast honderden andere artikelen. In Amerika is dit inmiddels een goed ontwikkeld vakgebied. Conclusie? Ik heb lang nagedacht wat de conclusie van dit verhaal is, en heb mijn mening enige malen moeten herzien. En de misschien verrassende conclusie is er een die ik al op een aantal terreinen heb moeten trekken: het handelen van alle partijen is zo gek nog niet, alleen hun rationalisatie is wat wonderlijk. Elffers maakt rare berekeningen maar formuleert de conclusies zo in de rechtbank dat het intuïtief duidelijk wordt dat hij niet het antwoord geeft waar de rechtbank naar zoekt. De rechter maakt vonnissen die klinken

in termen van waarschijnlijkheden maar waar ik geen brood van kan bakken. Maar als ik zie wat er gebeurt krijg ik het gevoel dat het veel meer lijkt op wat optimaal is dan ik gegeven de rationalisaties voor mogelijk zou houden. De verklaring is simpel: daden zijn gebaseerd op een proces gebaseerd op evolutie, rechtvaardigingen zijn er op geplakt en gebaseerd op onderwijs. Naar mijn mening is de Bayesiaanse methode de enige mogelijkheid om beslissingen onder onzekerheid om daden en rationalisatie in evenwicht te brengen. En kan dat zeer vruchtbaar zijn. Maar de winst is in eerste instantie veel kleiner dan men denkt. Wat de rechtbank in de zaak Lucy de B doet is verrassend rationeel. De 11 sterfgevallen blijken op zich niet overtuigend te zijn maar wel genoeg om de prior odds van 1 op 40.000 te veranderen in odds van 16 om 5, kortom een grootteorde waarin het nodig is aanvullende informatie te vergaren alvorens te oordelen. Precies wat de rechtbank doet. Ik heb, toen ik mijn berekeningen maakte, op momenten gedacht: ik moet mij tot de rechtbank wenden. Misschien krijg ik dan de kans om de zaak Lucy de B. geheel door te rekenen. Dat zou nieuwe inzichten kunnen opleveren. In dit geval is er veel meer informatie dan hier is gebruikt, zoals gifsporen bij patientjes. Ook hier geldt waarschijnlijk dat een Bayesiaanse analyse die rekening houdt met alle onzekerheden laat zien dat uitspraken van experts die iets zeggen als “het is uitgesloten dat er een andere verklaring is dan de toediening van gif door Lucy de B” met een korreltje zout genomen moeten worden. Experts zijn meestal mensen die hun zekerheden overschatten. Aan de andere kant kan belastende informatie ook opbouwen. Tien onafhankelijke feiten die twee maal zo waarschijnlijk zijn onder de hypothese schuld veranderen de odds met een factor 1000. Maar volgens mij redeneert de rechtbank min of meer zo. In een onbegrijpelijke taal, niet na te gaan voor waarschijnlijkheidsrekenaars, maar gesanctioneerd door evolutie. We hebben maar weinig gevallen van veroordelingen die ten onrechte bleken in Nederland. Als je alles in termen van kansberekening zou doen, zijn de debatten tussen aanklagers en advocaten die het gevolg zijn, niet te overzien. En gegeven hun gebrekkige kennis van kansrekening ook vooralsnog onwenselijk. Zij hebben hun geheimtaal die meestal tot redelijke conclusies leidde. En de kans dat Lucy de B schuldig is past daar niet echt in. Bovendien is er in Nederland geen wet die in termen van kansen op een terechte beslissing definieert wat “wettig en overtuigend bewijs” is. Is dat 95%? Of 99%? Rechters zullen volhouden dat het 99,99% is. Maar rechters zijn experts.