Omgaan met de uitdaging van effectmeting in de integrale jeugdhulp

Worstelen met een terugkerende vraag

Het beter in kaart brengen van effecten of uitkomsten zou helpen om onderbouwde uitspraken te doen over wat er werkt en wat er beter kan. Dit dient twee doelstellingen waar soms spanning op zit: het ‘verantwoorden’ van de ingezette middelen en het verschaffen van informatie waar je uit kan ‘leren’ om je interventies effectiever te maken (4).  

Als we spreken over ‘effect’ gaat het over het aantonen dat een verandering, met aan zekerheid grenzende waarschijnlijkheid, het gevolg is van een interventie. Een ‘output’ is een directe realisatie en een ‘uitkomst’ is een effect op korte of middellange termijn. ‘Impact’ slaat op alle lange termijn effecten van een interventie: direct en indirect, bedoeld en onbedoeld, op het niveau van individuen en de bredere samenleving (5).  ‘Impactmeting’ kan dus zeer breed gaan, terwijl ‘effectiviteitsmeting’ focust op het al dan niet behalen van vooropgestelde doelen.

Vandaag ligt de focus vaak op het ‘meten’ van effecten, maar dat is slechts een deel van het bredere vraagstuk rond effectiviteit en evaluatie. De vraag ‘of’ iets werkt is enkel zinvol in relatie tot ‘hoe’, ‘waarom’ iets werkt. Cijfers vertellen nooit het hele verhaal, maar helpen om het te vertellen.

“Nu ik weet hoe alles samenhangt, krijg ik het beter uitgelegd. Dat meten is een indicator, het geeft iets aan, het is niet absoluut. Tellen en vertellen, we willen een verhaal hebben.” (Stafmedewerker¹ Kwaliteit van Provinciale Pleegzorg)

Binnen de integrale jeugdhulp is de vraag  naar effect- en effectiviteitsmeting niet nieuw. In 2006 werd het thema naar voren geschoven door toenmalig Vlaams minister van Welzijn, Volksgezondheid en Gezin, Inge Vervotte (6).  Sindsdien gingen een aantal organisaties aan de slag met dit thema (7), maar de meesten bleven er liever van weg. De vraag bleef echter terugkomen.

In 2018 schoof Opgroeien effectmeting naar voren als kwaliteitsthema. Organisaties in de integrale jeugdhulp kregen de opdracht om een visie te formuleren en aan de slag te gaan met minstens drie indicatoren: uitval, tevredenheid en doelrealisatie. Verder werden ze vrij gelaten in hoe ze dit zouden aanpakken. De bedoeling was vooral om organisaties te laten nadenken over het thema om vervolgens te leren van elkaar en te bouwen aan een gedeelde taal.

In samenwerking met Jo-In voerden onderzoekers van de AP Hogeschool Antwerpen in 2021 een kleinschalig onderzoek uit naar hoe organisaties binnen de integrale jeugdhulp op dat moment aan de slag gaan met het thema effectmeting en de vraag vanuit Opgroeien (8).  Doormiddel van dertien interviews met vertegenwoordigers van jeugdhulporganisaties (vaak kwaliteitsmedewerkers en pedagogisch directeurs) zochten ze naar ervaringen, uitdagingen, goede praktijken, bedenkingen en ondersteuningsnoden binnen de sector. Dit artikel geeft een beknopte weergave van enkele inzichten uit dat onderzoek en maakt een argument om doelrealisatie te analyseren op het collectief niveau (van methoden of modules) met behulp van een veranderingstheorie.

Reacties op het kwaliteitsthema

Tijdens de interviews onderschrijven de meeste respondenten het belang van het kwaliteitsthema ‘effectiviteit in de jeugdhulp’. Ze zien de mogelijke meerwaarde van een effectmeting om de kwaliteit van de jeugdzorg te blijven verbeteren. Ze hebben vertrouwen in het agentschap en appreciëren de vrijheid bij de invulling van het kwaliteitsthema in hun eigen werking.

Toch blijkt het niet evident om dit thema duurzaam te verankeren in hun organisatie. De orde van de dag, een beperkt draagvlak onder de medewerkers, een gebrek aan expertise en onvoorziene omstandigheden zoals de coronacrisis dragen er toe bij dat de doorstart veelal uitblijft. Ze vragen dan ook dat Opgroeien langdurig blijft inzetten op dit kwaliteitsthema.

Niet iedereen is positief. Een beperkt aantal respondenten vindt de voorgestelde aanpak met drie indicatoren te cijfermatig. Het thema wekt ook frustratie op omdat het zou leiden tot een extra registratielast die afleidt van de hoofdtaken. Er bestaat ook onduidelijkheid en zelfs wantrouwen omtrent wat er nu allemaal gebeurt met de data die men moet registreren. Deze onduidelijkheid kan het reeds wankele draagvlak voor registratie verder ondergraven en wordt in sommige gevallen versterkt door de angst voor besparingen. Hoewel de opdracht rond effectmeting vandaag op geen enkele manier gekoppeld is aan financiering, leeft het idee dat dit een eerste stap is naar evaluatie en financiering op basis van uitkomstindicatoren die niet het hele verhaal vertellen.

Draagvlak

De respondenten, die vaak verantwoordelijk zijn voor de opvolging van dit thema, bevestigen dat er binnen hun organisaties heel wat scepsis en weerstand bestaat tegenover het implementeren van effectmeting en de daarmee geassocieerde registratielast. Zonder regelmatige opvolging zou het thema in veel organisaties een stille dood sterven.

Ze vinden het dan ook belangrijk dat je een duidelijk antwoord kan geven op de ‘waarom’ vraag en je voldoende ruimte laat voor kritische bedenkingen. Ze zoeken naar overlap tussen registratie- en begeleidingsinstrumenten om de bijkomende registratielast te beperken en proberen te tonen dat dataregistratie en -analyse een meerwaarde kan bieden aan de praktijk. Zo zou bepaalde data het aanvoelen van hulpverleners kunnen onderbouwen, wat kan helpen in de signalisatie naar beleid toe, bijvoorbeeld wanneer de instroom verandert en dit het verloop van trajecten beïnvloedt.

“Begeleiders ervaren ook winst als je hun werk en impact in kaart brengt, het is een soort erkenning.” (Beleidsmedewerker Kwaliteit CBAW)

Ervaren organisaties stellen dat het niet nodig is om iedereen vanaf het begin mee te hebben. Met een voldoende diverse kopgroep met hulpverleners, coördinatoren en kaderleden kan je starten. Zo kan je het thema verder verankeren en andere medewerkers in een later stadium betrekken. Dit soort collectieve processen heeft tijd nodig, weet een directeur die al langer rond dit thema werkt:

“Onze grote fout was dat we alles in drie jaar wilden doen. We hebben het geprobeerd, maar het was er wat over. Te veel druk. Nu zou ik het meer spreiden over 5 jaar, successen meer vieren.” (Directeur van jeugdhulporganisatie verschillende typemodules)

Verankering

Het creëren en in stand houden van draagvlak gaat hand in hand met de formele verankering en de zichtbaarheid van het kwaliteitsthema binnen de organisatie. Het is dan ook belangrijk een helder beleid uit te schrijven waarin de verschillende stappen zijn vastgelegd, door wie deze worden uitgevoerd en wanneer men de resultaten mag verwachten. Inspanningen vragen van medewerkers zonder voldoende terug te koppelen is nefast.

Het is dan ook bevorderlijk dat er een interne regisseur wordt aangesteld die een aanspreekpunt is en expertise kan opbouwen. Deze expertise omvat kennis over de belangrijkste begrippen en theoretische modellen rond effectmeting, een goed zicht op alle interne registratie, enige ervaring met dataverzameling en -analyse én aansluiten bij externe netwerken. Het deelnemen aan lerende netwerken en intervisiegroepen maakt het mogelijk om van elkaar te leren en een gedeelde taal te ontwikkelen. Om deze uitwisseling te doen slagen is het niet alleen belangrijk dat de organisaties met gelijkaardige zaken bezig zijn, maar ook dat ze in gelijkaardige fasen van het ontwikkelen van effectmeting zitten, zodat ze op een gepaste snelheid kunnen verder werken.

Welke doelen?

Van de drie door Opgroeien voorgestelde indicatoren is ‘doelrealisatie’ allicht de meest uitdagende en controversiële. Zonder een duidelijk doel kan je niet spreken over effectiviteit, maar over welke doelen gaat het precies? Hoe en door wie werden die doelen gedefinieerd? Als je eenvoudige doelen realiseert wil dat natuurlijk nog niet zeggen dat je beter werk hebt geleverd.

Antwoorden op de vraag ‘zijn je doelen gerealiseerd’, zegt dus nog niet veel. Op het niveau van de jongere wordt er veel informatie bijgehouden over begeleidingsdoelen, maar deze zijn zeer case specifiek. Dat maakt het moeilijk om tot een overzicht of vergelijking te komen. Toch zoeken heel wat organisaties naar een manier om vanuit dat individueel niveau te vertrekken. Op aggregaat niveau kijken ze dan niet zozeer naar wat er werd gerealiseerd, maar naar hoe vaak vooropgestelde doelen (eventueel onderverdeeld in inhoudelijke categorieën) werden gerealiseerd of niet.  

“We beginnen eigenlijk bij de cliënt en proberen dat op een hoger niveau te bekijken. Natuurlijk als je over overkoepelende resultaten kijkt, kan je met die individuele doelen niet zoveel doen. Daarom werken we met een score om per werkgroep tendensen te zien. Behalen we het of niet? Als het bij het een werkt en het ander niet, is het misschien tijd om daarop in te gaan.” (Kwaliteitscoördinator welzijnsorganisatie verschillende typemodules)

Anderen identificeren een beperkt aantal gewenste effecten als kerndoel van de interventie en vertalen deze naar indicatoren om zo uitspraken te doen op collectief niveau. Hier koppelt men de doelen aan een bepaalde methodiek om zo de effectiviteit van de methodiek te onderzoeken.

“Wij gaan vanuit het methodiekniveau om dan te zien wat de grote doelen zijn. Bijvoorbeeld uithuisplaatsing vermijden: woont die cliënt nog thuis en is er een advies voor uithuisplaatsen. Ja en nee wil zeggen het is gelukt. Dan zijn er nog een aantal subdoelen.” (Directeur van jeugdhulporganisatie verschillende typemodules)

Toen we deze quote toonden tijdens een lunchseminarie vonden enkele deelnemers dit aanstootgevend. We kregen de indruk dat het registeren van op voorhand bepaalde doelen binnen een afgebakende methodiek als indicator van doelrealisatie wringt met de aandacht voor relaties, individuele trajecten en inspraak die zo belangrijk is de jeugdhulp. Vanuit ons perspectief leek dit echter op een valse tegenstelling en werd het ons niet duidelijk waarom het elkaar zou uitsluiten.

Een indicator vertelt, per definitie, nooit het volledige verhaal. De bedoeling is precies om complexiteit te reduceren en zo te focussen op specifieke aspecten die ons iets, maar niet alles, zeggen over het functioneren van de bredere werking. De score op een indicator geeft op zich dus nooit een finaal antwoord, maar het leidt tot de juiste vragen (9).

De drang om vanuit het individueel niveau te vertrekken is begrijpelijk omdat men dicht bij het doorleefde verhaal wil blijven en geen abstractie wil maken van de context die zo belangrijk is voor het begeleidingstraject. Effectiviteitsmeting en begeleiding hebben echter een andere finaliteit. Als je wil weten wat in de meeste gevallen goed werkt moet je tot op zekere hoogte abstractie maken van allerhande zaken die voor een individu belangrijk zijn, maar buiten de directe invloedssfeer van je interventie vallen. Om het wat grotesk te illustreren: Ja een goed lief kan een wereld van verschil maken in het traject van een jongere, maar als jeugdorganisatie ga je daarom toch geen datingbureau beginnen? Als je je blindstaart op het individueel niveau wordt het onmogelijk om op populatieniveau uitspraken te doen over wat soort begeleiding het verschil maakt.

Vanuit ons perspectief als onderzoeker adviseren we hier dus om wel een beperkt aantal collectieve doelen te bepalen en daar indicatoren aan te verbinden. Hoewel je daarmee zeker niet alle zinvolle inspanningen en factoren in kaart brengt, laat het toe om evoluties in kaart te brengen en vergelijkingen te maken. Let wel, die uitkomstindicatoren worden past echt zinvol wanneer je over een helder uitgeschreven ‘programmatheorie’ beschikt .  Geen ‘of het werkt’ zonder ‘hoe het werkt’.

Niets zo praktisch als een goede theorie

Voor de duidelijkheid: er zijn natuurlijk goede redenen om sceptisch te zijn over de vraag naar effectmeting. De overheid creëert soms onrealistische verwachtingen zonder bijkomende middelen en het begrip ‘evidence based’ wordt vaak te eng en cijfermatig ingevuld (10).  De vraag naar staalhard causaal bewijs is onzinnig in het sociaal domein. Het verloop van sociaalwerkpraktijken valt niet altijd te voorspellen want er spelen diverse (f)actoren die je niet kan controleren. Je kan niet alles in cijfers vatten en het bepalen van indicatoren is niet neutraal. Daarom heb je niet genoeg aan uitkomstindicatoren maar ook nood aan een programmatheorie die op basis van verschillende perspectieven beschrijft wat je precies doet (handelingstheorie) en waarom dit – onder bepaalde voorwaarden en voor een bepaalde doelgroep – zou werken (veranderingstheorie) (11).  

“Programmatheorieën zijn theorieën die sociaal werkers in samenwerking met stakeholders op maat van hun specifieke sociaalwerkpraktijk ontwikkelen. Deze theorieën geven stap voor stap aan hoe en waarom een sociaalwerkpraktijk binnen een bepaalde context zal bijdragen aan de beoogde impact en kunnen vervolgens voor elke stap door middel van onderzoek getoetst worden (12).”

In veel gevallen heeft men een zeer goed zicht op de handelingstheorie (wat men doet), maar de veranderingstheorie (waarom het leidt tot bepaalde uitkomsten) is vaak minder duidelijk. Om dit op te stellen hoef je geen groot theoreticus te zijn. Elke interventie is impliciet gestoeld op de overtuiging dat een bepaalde aanpak bijdraagt tot een bepaald gewenst effect: we doen dit want, deze interventie (A) leidt onder bepaalde voorwaarden (B) tot een wenselijke uitkomst (C). Deze logica zit al vervat in je huidige werking. Het komt er op aan om de A, B en C duidelijk te benoemen en hun relatie uit te leggen (13). Een veranderingstheorie moet telkens afgestemd worden op het type interventie dat je onder de loep wil nemen.

Figuur 1 toont het voorbeeld van een gedeelde veranderingstheorie van verschillende jeugdwerk organisaties in Engeland. Per focus-domein (binnen en buiten de werking) beschrijven ze activiteiten, veranderingsmechanismen, tussentijdse uitkomsten en impact die ze uiteindelijke beogen. Met de ‘line of accountability’ maken ze een onderscheid tussen zaken waar ze directe invloed op uitoefenen, links van de lijn, en zaken waar ze weinig tot geen controle over hebben.

Figuur 1: Gedeelde veranderingstheorie van ‘Open Access Youth Provision’ (UK)

‍

Op basis van de gedeelde theorie kunnen organisaties binnen deze Britse sector hun eigen veranderingstheorie specifiëren en verder uitwerken. Bijvoorbeeld door hun middelen (inputs), contextuele randvoorwaarden en specifieke activiteiten, mechanismen en uitkomsten toe te voegen. Uiteraard is de realiteit van begeleidingstrajecten altijd complexer en minder lineair dan dit soort schema’s doen vermoeden. Verschillende factoren beïnvloeden elkaar en concrete begeleidingsdoelen zijn ‘emergent’, ze veranderen en cours de route. Toch helpt de veranderingstheorie om de belangrijkste logica’s, dynamieken en aandachtspunten te expliciteren. Dit draagt niet alleen bij tot het identificeren van relevante indicatoren, het bevordert ook de interne en externe communicatie over de werking en hoe deze bijdraagt tot sociale verandering.  Er bestaat online al zeer veel gratis materiaal dat je kan helpen om hiermee aan de slag te gaan (15).  

Uit ons onderzoek blijkt dat veel organisaties na het uitschrijven van hun visie rond effectmeting meteen de stap maakten naar het bepalen van indicatoren. De veranderingstheorie blijft dan grotendeels impliciet, terwijl dit nu net helpt om relevante indicatoren te bepalen én een kader biedt waarbinnen je registratiegegevens kan interpreteren. Het biedt een breder verhaal waarin ook de ervaringskennis van diverse stakeholders, het normatief kompas van je organisatie en eerder onderzoek aan bod komt (16).  

In het opstellen en aftoetsen van de handelings- en veranderingstheorie heeft kwalitatief onderzoek en inspraak van cliënten een belangrijke plaats (17).  Diverse kennisbronnen zijn hier van belang. Bovendien is het niet mogelijk of wenselijk om alles zelf te ontwikkelen. Het is dan ook cruciaal daar op sectorniveau rond samen te werken én te leren uit vernieuwende praktijken (18). 

Afsluitend

“Natuurlijk zit het leven vol complexe dynamieken, maar voor mij wordt soms bijna een alibi om niet naar het resultaat te kijken.” (Directeur CBAW)

Eén ding is zeker, het laatste woord is hierover nog niet gezegd. Binnen deze beperkte bijdrage hebben we geprobeerd om enkele inzichten uit ons onderzoek samen te vatten en discussie uit te lokken rond de indicator doelrealisatie en het belang van een veranderingstheorie. Daarnaast waren we tegelijk ook begripvol en kritisch voor de sceptische houding tegenover effectmeting binnen het sociaal werk. Een gepolariseerd debat helpt ons niet verder. Eerder dan te kiezen voor of cijfers of een kwalitatieve benadering lijkt het ons beter om samen met diverse stakeholders een heldere programmatheorie op te stellen in combinatie met een beperkt aantal proces- en uitkomstindicatoren. Deze helpen om dit kader te toetsen en kunnen op hun beurt binnen dit kader geïnterpreteerd worden.

De discussie over effectiviteit en evaluatie wordt te vaak verengd tot een meetvraagstuk, terwijl dit slechts een middel is om tot een beter begrip van doelrealisatie en een onderbouwde evaluatie te komen. Anderzijds helpt het ook niet om alles wat met registratie het meten van uitkomsten te maken heeft op voorhand af te blokken omdat het in strijd zou zijn met de essentie van dit relationeel beroep. Een beter zicht op je impact kan juist helpen om impactgedreven te handelen. Dat is niet alleen een verantwoordelijkheid van sociaal werkers. Het is ook aan de overheid om zich niet blind te staren op cijfers, maar om samen met de sector na te denken waardoor de nadruk in dit thema vooral op leren en minder op controleren komt te liggen (19).  

‍

Ons onderzoeksrapport is te downloaden via: https://www.ap.be/project/sterk-werk

‍

• Pieter Cools is onderzoekscoördinator van het onderzoekscentrum Duurzame Stadsontwikkeling aan de AP Hogeschool Antwerpen en gastprofessor aan de Master Sociaal Werk van de Universiteit Antwerpen.
• Marieke Maes is actief als sociaal werker in de integrale jeugdhulp. Ze werkte een tijd als onderzoeker aan de AP Hogeschool op het PWO Sterk Werk!
• Michel Tirions is opleidingshoofd van de bachelor Sociaal Werk van de AP Hogeschool Antwerpen

Eindnoten

1)Serrien, L. (2021). Impactevaluatie: leren uit wat verandert. Sociaal.net, online: https://sociaal.net/achtergrond/impactevaluatie-sociaal-werk/

2)Greenhalgh, T., & Russell, J. (2009). Evidence-based policymaking: a critique. Perspectives in biology and medicine, 52(2), 304-318.

3)Bogaerts, N. (2019) ‘Ik wil minder administratie, meer resultaatgerichte hulpverlening’. Sociaal.net, online: https://sociaal.net/achtergrond/verkiezingen-lorin-parys/

4)Cools, P., & Raeymaeckers, P. (2020). Sociale interventies evalueren: moeilijk gaat ook. Sociaal.net, online: https://sociaal.net/achtergrond/sociale-interventies-impact-evalueren/

5)Dehertogh, B., Cools, P., & Berkvens, L. (2021). Zweten om te meten? Pragmatische zoekreflecties uit een sociale impactevaluatie. In Cahier (Vol. 6), pp. 45-61.

6)Grietens, H., Mercken, I., Vanderfaeillie, J., & Loots, G. (2007). Initiatie van effect- en effectiviteitsmeting van het private hulpaanbod binnen de bijzondere jeugdzorg. Een opdracht van het Ministerie van Welzijn, Volksgezondheid en Gezin. Leuven: Centrum voor Orthopedagogiek, Katholieke Universiteit Leuven, online: https://www.canovlaanderen.be/app/download/9259800750/Effect-+en+effectiviteitsmeting+Bijzondere+Jeugdzorg.pdf?t=1507273055.

7)Taels, W. (2016). Het E-project. Evidence-based werken in de Vlaamse Jeugdhulp, een praktijkverhaal. De Cocon, online: https://decocon.be/media/docs/Publicaties/Het%20E-project,%20EBW%20in%20de%20Vlaamse%20Jeugdhulp,%20een%20praktijkverhaal.pdf

8)Maes, M. & Cools, P. (2021) Omgaan met de uitdaging van effectmeting: Inzichten uit erkende organisaties binnen de integrale jeugdhulp in Vlaanderen. AP Hogeschool, online: https://www.ap.be/project/sterk-werk

9)NHS (2007). The good indicators guide: understanding how to use and choose indicators. NHS Institute for Innovation and Improvement, online: https://www.england.nhs.uk/improvement-hub/wp-content/uploads/sites/44/2017/11/The-Good-Indicators-Guide.pdf  

10)Hermans, K. (2005). Evidence-based practice in het maatschappelijk werk- een pragmatische benadering. Journal of Social Intervention: Theory and Practice, 14(3). doi:10.18352/jsi.131    

11)De Waele, E., Depauw, J., Raeymaeckers, P., Hermans, K., Driessens, K., Steel, R. (2022). Impactevaluatie in het sociaal werk: van theorie naar praktijk. Departement Welzijn Volksgezondheid en Gezin, online: https://departementwvg.be/sites/default/files/media/SWC22_Visienota.pdf

12)De Silva et al, 2014 in De Waele et al., 2022, p. 7.

13)Pawson, R. (2003). Nothing as Practical as a Good Theory. Evaluation, 9(4), 471-490. doi:10.1177/1356389003094007

14)Bradshaw-Walsh, K., Scanlon, K. & McNeil, B. (2021). User Guide: A Theory of Change for Open Access Youth Provision. The Centre for Youth Impact. Online: https://www.youthimpact.uk/sites/default/files/2021-05/YIF%20ToC_user%20guide_Final%20May%2021_0.pdf

15)Voor een Nederlandstalige introductie kan je terecht bij de ‘toolbox beleidsplanning voor jeugd- en volwassenenwerk’ van Socius, online: https://beleidsplanning.socius.be/toc/ . In het Engels publiceerde onderzoekster Patricia Rogers een ‘methodological brief’ over de verandingstheorie in opdracht van Unicef, online: https://content.changeroo.com/wp-content/uploads/Academy/2017/07/rogers_2014_theory_of_change_-_methodological_briefs_-_impact_evaluation_2.pdf

16)Zie in dit verband bijvoorbeeld de bijdragen over ‘kwaliteit van leven’ en ‘de capability benadering’ in Agora. Swerts, C. (2020). Kwaliteit van leven: een pleidooi voor verhalen van impact. In Agora,  online: https://www.agorawebzine.be/artikels/kwaliteit-van-leven-een-pleidooi-voor-verhalen-van-impact ; Tirions, M. (2020). Floreren: De capabilitybenadering als inspiratie voor de jeugdhulp van morgen. In Agora: https://www.agorawebzine.be/artikels/floreren-de-capabilitybenadering-als-inspiratie-voor-de-jeugdhulp-van-morgen

17)Rensen, P., von Meyenfeldt, L. & Engbergsen, R. (2022). De toegevoegde waarde van kwalitatief onderzoek: Zes inspirerende gesprekken met onderzoekers uit Nederland en België. Movisie, online: https://www.movisie.nl/publicatie/toegevoegde-waarde-kwalitatief-onderzoek

18)Zoals bijvoorbeeld het werken met Social Impact Bonds. Delvetere, L. & Calsyn, B. (2021). Social impact bonds in de jeugdhulp: ‘ Het denken rond impact krijg je niet meer weg’. In Agora, online: https://www.agorawebzine.be/artikels/social-impact-bonds-in-de-jeugdhulp-het-denken-rond-impact-krijg-je-niet-meer-weg

19)Ebrahim, A. (2019). Measuring social change: Performance and accountability in a complex world. Stanford University Press.

‍