Promotieonderzoek evaluaties: hoe kunnen we de bruikbaarheid vergroten?

In evaluaties van rampen en crises staan vaak keer op keer dezelfde lessen. ‘Leren we dan nooit van de vorige crisis?’ zou je denken. Ralf Beerens, onderzoeker bij het Instituut Fysieke Veiligheid (IFV), onderzocht hoe we de bruikbaarheid van evaluaties kunnen vergroten. Op 3 september promoveerde hij met dit onderzoek aan de Universiteit van Lund in Zweden.

Ralf dook voor zijn onderzoek allereerst de wetenschappelijke literatuur in. “Je zou verwachten dat de literatuur handvatten biedt over de manier waarop je het beste crises en crisisoefeningen kunt evalueren”, zegt hij. “Dus daar heb ik naar gezocht. Maar die heb ik niet gevonden. Ik vond vooral veel beschrijvende literatuur. Mijn conclusie was dat er in de wetenschap nog weinig over evalueren in een crisiscontext bekend is.”

Hoe heb je het promotieonderzoek vervolgens opgezet?
“Naast de literatuurstudie heb ik ook gekeken hoe evaluaties op dit moment worden uitgevoerd bij veiligheidsregio’s. In de meeste documentatie is de gekozen evaluatiemethode niet toegelicht. Daardoor is het onduidelijk of de gekozen aanpak bijdraagt aan het bereiken van het gewenste doel. Ook de context wordt onvoldoende meegenomen. Bovendien is er een gebrek aan transparantie over de manier waarop de gegevens worden geanalyseerd en gebruikt worden om conclusies te trekken.

In deze eerste fase van mijn onderzoek heb ik geconcludeerd dat het moeilijk is om te weten of de huidige evaluaties effectief en/of nuttig zijn en hoe ze uiteindelijk bijdragen aan een (betere) voorbereiding op rampen en crises.

En ik kwam tot de conclusie dat evaluaties vaak als op zichzelf staande gevallen bekeken worden. Er worden bijvoorbeeld geen lessen getrokken of meegenomen uit eerdere evaluaties. Daardoor ontstaat er een onsamenhangend en gefragmenteerd beeld dat tevens diepgang mist.”

Hoe zou dat beter kunnen?
“Daar heb ik een model voor ontwikkeld. Volgens dat model bestaat elke evaluatie idealiter uit vijf onderdelen, namelijk: doel, object, analyse, conclusie en de presentatie in een evaluatieproduct. Om dit inzichtelijk te krijgen, is het belangrijk dat je vooraf het gesprek aangaat met de doelgroep. Wat verwachten zij van de evaluatie? En wat willen ze graag leren?”

Kun je daar een voorbeeld van noemen?
“Je kunt bijvoorbeeld de besluitvorming evalueren. Daarbij kun je inzoomen op de vraag of er aan het einde van elke vergadering besluiten zijn genomen.

Dit betekent dat het niet uitmaakt hoe die besluiten tot stand zijn gekomen. Misschien verliepen de crisisvergaderingen erg chaotisch, maar kwam het team wel tot goede besluiten. Daarmee is het doel behaald, maar zijn er wellicht wel verbeterpunten te formuleren ten aanzien van het proces.”

Zijn er elementen die jou verrast hebben, toen je de evaluaties aan dit model toetste?
“Ja, dat er in de praktijk al snel over het element ‘doel’ heen wordt gestapt. Evaluatoren besluiten om te gaan evalueren. Maar er wordt vaak onvoldoende nagedacht over de vraag: waarom voeren we deze evaluatie eigenlijk uit, en voor wie? Dit heeft gevolgen voor de bruikbaarheid van de evaluatie, omdat je er dan niet voor kunt zorgen dat je het doel bereikt en een product kiest dat daarbij past.

Ook is er vaak weinig aandacht voor het ‘object’. Dus: wat gaan we evalueren en langs welke lat gaan we dat leggen? Dit kan op zijn beurt weer gevolgen hebben voor een gedegen analyse en herkenbare conclusie.”

Een ander probleem is dat mensen, teams en organisaties weinig van evaluaties leren. Hoe kun je dat verbeteren?
“Door mensen meer bij het proces te betrekken. De evaluator is vaak degene die het meeste van de evaluatie leert. Dus misschien kun je er een coproductie van maken? Zo zorg je ervoor dat ook de doelgroep de lessen meekrijgt.

Ook is het belangrijk dat het rapport aansluit bij de wensen en leerstijlen van de doelgroep. Niet iedereen zit te wachten op een rapport van 30 tot 50 pagina’s dik. Misschien hebben zij meer aan een filmpje, een factsheet of een andere presentatievorm.”

Hoe kun je ervoor zorgen dat ook mensen buiten het team van de evaluaties leren?
“Door evaluaties centraal te delen in een soort ‘kennisbank’. Daardoor kunnen we meer en op een betere manier lessen met elkaar delen en meta-analyses uitvoeren. In veel evaluaties zie je telkens dezelfde verbeterpunten terugkomen, bijvoorbeeld op het gebied van leiding en coördinatie. Bij dat soort terugkerende thema’s kun je besluiten om er dieper in te gaan graven. Waar ligt het aan dat dit keer op keer fout gaat? En wat kunnen we doen om dat structureel te verbeteren?”

Zijn er, tot slot, nog extra aandachtspunten waar je op moet letten bij het uitvoeren van een evaluatie?
“Jazeker. Het is belangrijk dat je alles ziet in de context van dat moment. Achteraf is het namelijk altijd gemakkelijk praten en kun je de verbeterpunten eenvoudig aanwijzen. Maar het gaat erom of mensen goed hebben gehandeld op basis van de kennis die ze op dat moment hadden.

En het is belangrijk om het doel van de evaluatie scherp voor ogen te houden. Veel evaluaties hebben als doel om ervan te leren. In die gevallen is het belangrijk dat mensen niet afgerekend worden op de fouten die zij gemaakt hebben. Als het gaat om verantwoorden, dan is het belangrijk dat mensen uitleg geven over wat er mis is gegaan en over hoe dit in de toekomst ‘opgelost’ zou kunnen worden.

Dus het is goed als bijvoorbeeld een Operationeel Leider of Operationeel Team aangeeft wat er fout ging en wat hij of zij doet om daarvan te leren. Daar word je samen sterker van. Zodra een evaluatierapport gebruikt wordt voor bijvoorbeeld blaming and shaming, gaat het vertrouwen weg. Het zal dan veel moeite kosten om het vertrouwen weer te herstellen waardoor mensen zich weer open durven te stellen.

En het is belangrijk dat evaluaties niet gezien worden als een doel op zich. Het is een middel om een doel te bereiken.”