Veel gemeenten en organisaties hebben moeite zicht te krijgen op effecten in het sociaal domein. Deze zijn niet altijd te vangen in data of cijfers, zeker als een project of aanpak kleinschalig of nieuw is. Met traditioneel onderzoek lukt het dan soms niet om de essentie te vatten. Dit is waarom onderzoeker Maarten Kwakernaak enthousiast is over drie vernieuwende onderzoeksinstrumenten: de Effectencalculator, de Effectenarena en het Effectenplein. We spraken met hem om uit te vinden waarom.
Het was tijdens zijn werk als onderzoeker bij de Hogeschool van Arnhem en Nijmegen dat Maarten interesse kreeg in de combinatie van het sociale en het zakelijke: ‘Door mijn achtergrond in planologie zoek ik vaak de verbinding tussen financiën en inhoud. Geld is ontzettend belangrijk in het sociaal domein. Ook al is het faciliterend, je hebt het ontzettend nodig om te kunnen doen wat goed is. En je moet spaarzaam zijn met de beperkte budgetten.’ In deze periode werd duidelijk dat er een gebrek was aan passende methoden om de vele nieuwe werkwijzen in het sociaal domein te onderzoeken. Reden voor Maarten om samen met Jochum Deuten, de HAN, Ecorys en Rebel Groupom de Effectencalculator te ontwikkelen.
‘Een verkeerd gekozen naam’, voegt hij eraan toe, ‘maar we komen er niet meer vanaf.’ Met de Effectencalculator maak je een precieze reconstructie van hoe een nieuwe werkwijze in de hulpverlening uitpakt en hoe deze verschilt van een oude werkwijze. ‘De basis is een tijdlijn. Samen met een gezin en professionals ga je rondom de tijdlijn zitten om het verhaal te reconstrueren. Wat was de vraag aan het begin? Wat is ingezet vanuit de nieuwe werkwijze, en wat deed dat met het gezin? Dat doe je chronologisch, per stapje, per datum. Vervolgens maak je een inschatting van de tijdlijn als de oude werkwijze was gebruikt, én wat in dat geval de kosten waren geweest. Het is een verhalend instrument, maar het verbindt de wereld van financiën en hulpverlening met elkaar.’
Effectencalculator in de praktijk
‘Bij een onderzoek dat we vorig jaar in Dordrecht deden zagen we de Effectencalculator mooi aan het werk’, vertelt Maarten. ‘We deden onderzoek naar WIJ Dordrecht, een heel mooi project in een wijk waar veel eenzame ouderen wonen. Het idee van WIJ Dordrecht is om deze mensen via activiteiten met elkaar in contact te laten komen, en dat zij vervolgens zelf activiteiten gaan organiseren. De gemeente kwam naar ons toe met de vraag: wij geloven in dit initiatief, we voelen dat het werkt, maar we kunnen het niet bewijzen. Kunnen jullie uitzoeken of het werkt en of het financieel ook wat oplevert? We hebben toen ingezoomd op een zestal ouderen die aangesloten zijn bij WIJ Dordrecht. Samen met hen hebben we de tijdlijn doorlopen vanaf toen ze voor het eerst binnenliepen bij het project.’
De uitkomsten waren heel interessant: ‘Mensen gaven aan erg verrijkt te zijn door het project. Een mevrouw van 93 zei dat haar tijd bij dit project de mooiste tijd van haar leven is geweest. Fantastisch toch?’
Je krijgt in beeld of de mensen die investeren, dezelfde mensen zijn die de vruchten plukken
‘Door het werken met een tijdlijn zagen we het leven van mensen veranderen’, gaat Maarten verder. ‘We zagen bijvoorbeeld dat toen tijdens corona de activiteiten wegvielen, mensen lichamelijk gigantisch achteruitgingen. Er zaten ook veel beweegactiviteiten bij namelijk. Toen mensen weer mochten komen, werden ze direct binnen een paar weken weer gezonder, ook de medische professionals zagen dat. Dit zijn dingen die mooi naar boven komen als je met een tijdlijn werkt.’
Kostenbesparing
Van tevoren hadden de onderzoekers de gemeente gewaarschuwd dat ze geen waterdichte inschatting konden maken van de kosten die zijn bespaard door het project. ‘Dat doe je namelijk op basis van zorgkosten die mensen dankzij dit project niét maken, dus je doet onderzoek naar iets wat niet is gebeurd.’ Maar uiteindelijk waren de resultaten overtuigend: ‘Als de ingeschatte besparing bij slechts één case daadwerkelijk is gerealiseerd, heeft de gemeente de volledige kosten van het project al makkelijk terugverdiend. En dat nog los van de ellende die je voorkomt voor deze mensen. Zo kwam de Effectencalculator mooi uit de verf. Niet door 100% zekerheid te geven, maar door met veel overtuiging te kunnen zeggen: dit betekent echt heel veel voor mensen, en financieel haal je het er sowieso uit. Voor de gemeente was het dus ook gelijk duidelijk dat ze het project met structurele financiering wilden blijven ondersteunen.’
Effectenplein
Waar de Effectencalculator inzoomt op individuele cases, kijk je met het Effectenplein naar effecten van community building (opbouwwerk) op een hele wijk of gemeenschap. Het Effectenplein is het tweede instrument dat Maarten in samenwerking met anderen ontwikkelde. ‘Het inzoomen op een wijk is veel complexer, want het gaat niet om individuen maar om collectieven, verbindingen tussen mensen. Dat is veel moelijker af te bakenen. Daarom hebben we hier ook specifiek een instrument voor ontwikkeld. De basis is hetzelfde, ook hier werken we vanuit een tijdlijn. Zo hebben we in Amstelveen met het Effectenplein een project onderzocht waarbij kwetsbare mensen steeds meer in de wijk gingen wonen. Je moet niet alleen deze mensen zelf voorbereiden, was het idee, ook de wijk zelf moet er klaar voor zijn.’
De Effectencalculator verbindt de wereld van financiën en hulpverlening met elkaar
Deze twee perspectieven hebben de onderzoekers onder de loep genomen: ‘Met de Effectencalculator keken we wat het project betekende voor de meest kwetsbare mensen. Met het Effectenplein onderzochten we wat er in de wijk is veranderd, en wat de community builders daarin hebben gedaan. Vervolgens keken we naar de verbinding tussen deze twee perspectieven. Zo zaten we op dinsdagavond met een wijkagent, een ggz professional, een opbouwwerker en een betrokken bewoner om tafel. Hoe een wijk verandert heeft met 100.000 dingen te maken, maar het was wel waardevol om aandacht te geven aan wat de opbouwwerker precies doet, en wat dat betekent. Dat maakt dit instrument echt inzichtelijk.’
Vooraf evalueren met de Effectenarena
Van een avond onder het systeemplafond in Amstelveen naar een buurtinitiatief in Groesbeek. Daar werden Kwakernaak en collega’s erbij gevraagd vóordat het project begon. Bij dit onderzoek hebben ze daarom de derde variant, de Effectenarena ingezet. Met dit instrument evalueer je meestal vooraf.
‘In Groesbeek ging een buurtvoorziening starten waar mensen konden komen eten voor weinig geld. De vraag aan ons was of we konden onderzoeken wat het ging opleveren. We hebben toen eerst een stapje terug gezet aan de hand van de Effectenarena. Je hebt dan kort gezegd het gesprek: wat gaan jullie doen, wie investeert erin, wat zijn de verwachte effecten, en wie heeft baat bij die effecten. Je kan dus zien of de mensen die investeren, dezelfde mensen zijn die de vruchten plukken.’
Als je met mensen om tafel gaat zitten en op een gestructureerde manier in gesprek gaat, merk je dat er een heleboel collectieve kennis zit
Uiteindelijk kwamen door die gesprekken allerlei dingen op tafel, vertelt Maarten: ‘Mensen bleken heel uiteenlopende verwachtingen te hebben van het project. En ondernemers in de buurt bleken zich eigenlijk zorgen te maken over de impact van het restaurant op hun eigen omzet.’
Het gesprek als basis
De Effectenarena is gebaseerd op een gesprek, het is niet kwantitatief. Maar als je wel wilt gaan meten, weet je door dit instrument welke verwachte effecten er zijn, en waar je dus indicatoren moet zoeken. Dat het gesprek de basis is, is kenmerkend voor alle drie de instrumenten. ‘Je hebt voor traditionele onderzoeksinstrumenten best wat data nodig’, aldus Maarten. ‘Zeker bij kleine projecten zijn effecten vaak moeilijk te vatten. Zelfs in 1 op 1 interviews kan je er niet echt vat op krijgen. Maar als je met mensen om tafel gaat zitten en op een gestructureerde manier in gesprek gaat, merk je dat er een heleboel collectieve kennis zit. Je krijgt zo inzicht in de meerwaarde van een aanpak, zonder dat die echt meetbaar is.’
Kennis die je op 1 moment ophaalt, in plaats van drie jaar met een project mee te lopen. Veel efficiënter qua tijd en kosten dus, als we het toch hebben over de zakelijke kant: ‘Je krijgt natuurlijk een ander soort informatie dan als je drie jaar met een project meeloopt. Voor sommige projecten is een onderzoek van drie jaar daarom beter. Maar vooral voor nieuwe en kleinschalige projecten, als je bijvoorbeeld net begint of een jaar bezig bent, is een onderzoek met een van deze instrumenten heel zinvol.’