Vakmanschap en de effectlader
We verwijzen hiervoor naar de effectladder van Van Yperen: Op niveau 0 wordt begeleid zonder verdere duiding, op niveau 1 worden de handelingen beschreven, op niveau 2 is er koppeling naar theoretische kaders, op niveau 3 wordt gemeten (tevredenheidsenquêtes etc.) en op niveau 4 worden vergelijkingen gedaan doorheen de tijd van de meetresultaten (benchmarking). Heel wat organisaties in Vlaanderen hebben op vandaag nog een blackbox-gedeelte in hun begeleiding (niveau 0), maar registreren ook handelingen in logboeken (niveau 1), hebben theoretische kaders waarnaar wordt verwezen (niveau 2) en doen metingen (niveau 3). Een grote betrachting is om per organisatie overzicht te krijgen met betrekking tot de gegevens die er zijn en naar niveau 4 te stappen: binnen de organisatie benchmarken en voorbij het individu, op groepsniveau doorheen de tijd de data die er is bekijken en bespreken.
Op zoek naar een achterliggend kompas
Sommige organisaties hebben vandaag reeds een duidelijke actuele visie op hun hulpverlening die hierachter ligt en het mogelijk maakt (een taal geeft) om de gegevens die er zijn zinvol te bespreken. Andere organisaties zullen mogelijks vaststellen dat hun visie op vandaag nog een stuk geactualiseerd of verrijkt mag worden. Om hierin te ondersteunen en te inspireren zet Jo-In al enige tijd in op de verspreiding van een scheppend kader met de capability-benadering en quality of life voorop, om organisaties die hier nood aan hebben een kompas en taal te geven om zinvol over data en effect te kunnen praten.
De capability-benadering laat toe om het proces naar het gewenste leven van jongeren in kaart te brengen, terwijl quality of life de vraag beantwoordt waaruit dit gewenste leven dan allemaal bestaat. Omtrent quality of life is er op vandaag heel wat participatief onderzoek aan de gang waarbij zinvolle vragenlijsten opgesteld worden in samenspraak met jongeren. Het lijkt ons uiterst waardevol deze groeiende kennis dan ook waar mogelijk naar de toekomst te benutten in het proces dat nu rond indicatoren en effect binnen de sector gelopen wordt. Het belang van duidelijke, innoverende visie wordt ook door Tom Van Yperen onderstreept. Er is hierin volgens hem ‘zonder twijfel een plaats weggelegd voor quality of life gezien outcome een relatie moet hebben met wat je voor cliënten wil betekenen.’
Capability benadering:
Quality of life:
Vraag vanuit het agentschap Opgroeien
De vraag die vorig jaar vanuit het agentschap Opgroeien kwam was om per organisatie minimaal rond uitval, tevredenheid en doelrealisatie in het komende kwaliteitsverslag expliciet ‘stil te staan alsook te duiden hoe op vlak van de organisatie over deze concepten gesproken kan worden en hoe deze concepten naar de toekomst zouden kunnen gemeten worden’. Deze drie concepten komen niet uit de lucht gevallen maar zijn, gebaseerd op wetenschappelijk onderzoek, erkend als betekenisvol en ook in Nederland is men op basis hiervan al meer dan 5jaar aan de slag om het effect van jeugdhulp in kaart te brengen.
Gelukkig doen organisaties in Vlaanderen al heel wat waarop ze zich kunnen beroepen en naar verwijzen zoals tevredenheidsbevragingen bij jongeren en ouders, het opstellen van schaalvragen inzake het evalueren van de doelstellingen, tabellen met eenzijdige stopzettingen, …Hieronder ter illustratie een slide vanuit het beschrijvend en praktijkgericht effectonderzoek naar kortdurende thuisbegeleiding van Tim Stroobants uit 2012 die enkele van deze mogelijkheden hierin ook concreet benoemde.
Ondersteuning vanuit het agentschap Opgroeien
Naast de stuurgroep kwaliteit, de intervisiegroepen en de studiedagen, verwijst het agentschap Opgroeien graag naar de teksten van Van Yperen, zoals:
en ziet het agentschap in het EFQM-model een kapstok en helpende tool in het ontwikkelingsproces van indicatoren:
- Visie, missie en doel: hoe definiëren jullie effectmeting binnen de eigen organisatie? Waarom willen jullie effectmeting gebruiken in de organisatie? Waarom past effectmeting (niet) bij de algemene visie van jouw organisatie? Hoe past effectmeting bij het kwaliteitsbeleid en -traject in jouw organisatie? ....
- Strategie: hoe ziet de ideale effectmeting voor jouw organisatie er uit? Hoe definieert jouw organisatie de begrippen uitval, doelrealisatie en cliënttevredenheid? Zijn er andere criteria die jullie in de organisatie gebruiken ikv effectmeting?
- Medewerkers: wie zal betrokken zijn bij effectmeting in jouw organisatie? Zal er verschil in betrokkenheid zijn?
- Middelen en Partnerschappen: wat/wie zal jouw organisatie nodig hebben om al het bovenstaande te realiseren?
- Processen: wanneer zal een effectmeting best plaatsvinden in jouw organisatie? Welke acties zal men bij een effectmeting kunnen onderscheiden in jouw organisatie?
- Waarderingen: op welke manier zal effectmeting gewaardeerd worden door de medewerkers in jouw organisatie? Door gebruikers? Door het agentschap? Door andere partners? Hoe zal je zicht krijgen op deze waarderingen? Welke betekenis zal deze waardering hebben voor al het bovenstaande?
- Eindresultaten: waardoor zal de norm voor het eindresultaat van de effectmeting bepaald worden in jouw organisatie? Wat zal er gebeuren met de eindresultaten? Voor wie zullen ze bedoeld zijn? Op welke manier kan benchmarking of - learning uitgevoerd worden zodat ze zinvol is bij de eindresultaten van een effectmeting?
- Leer en innoveer: welke argumenten na een effectmeting kunnen aanleiding zijn voor een proces van leren en innoveren in jouw organisatie?
Hindernissen en mogelijkheden voor de toekomst
Daarmee is de kous echter niet af, ondanks goede bedoelingen en diverse vormen van ondersteuning (wetenschappelijk onderzoek, tools, studiedagen, theoretische kaders, intervisiegroepen) blijft het thema zowel in Nederland als in Vlaanderen vrij beladen. Ook in Nederland is het enthousiasme doorheen de laatste 5 jaar niet unaniem positief en is men ook daar aan het zwoegen om de zin en zinvolheid van het opzet op vandaag te behouden. Wat moet vermeden worden is duidelijk: opsmukken van resultaten om er beter uit te komen en afrekeningen vanuit de overheid op basis van cijfers.
Om dit te voorkomen is het van belang dat het eigenaarschap van het thema bij organisaties aangemoedigd en ondersteund wordt en dat de overheid heel duidelijk maakt dat zij geen intentie heeft om conclusies te trekken voor de organisaties op basis van deze cijfers. Wat betreft dat eerste luik is men op vandaag in Nederland aan de slag met workshops waarbij lokaal organisaties bijeengebracht worden om aan de hand van een concreet ondersteunend kader uit te wisselen over het (mogelijke) effect van de eigen hulpverlening. Dit kader werd uitgewerkt door Tom Van Yperen en zou ook in Vlaanderen lokaal een concrete ondersteuning kunnen bieden naar de sector. Een belangrijke rol met betrekking tot eigenaarschap en enthousiasme voor het thema is ook weggelegd voor de leidinggevende. Hiertoe is het belangrijk leidinggevenden gepast te vormen en ondersteunen.
Een goede praktijk in Nederland die ook hier in Vlaanderen vertaald kan worden is door Van Yperen uitvoerig beschreven:
‘Het Samenwerkingsverband Effectieve Jeugdzorg Nederland (SEJN – zie www.sejn.nl) timmert al jaren aan de weg als het gaat om het werken met outcome-metingen. Eigenaarschap over de systematiek en de inhoud blijkt daarin essentieel. Het is daarom cruciaal dat instellingen en hun branches zelf bepalen welk instrument voor het meten van cliënttevredenheid de standaard moet worden. Dat maakt hen meer eigenaar van het instrument.
Vanuit diezelfde filosofie kan men stellen dat beroepsverenigingen zich meer moeten uitspreken over de vraag welke plaats outcome-monitoring heeft bij de professionele standaarden en wat professioneel verantwoorde instrumenten zijn om probleemafname te meten.
Maar vooral leren de ervaringen met het SEJN: zorg ervoor dat professionals en cliënten de tijd krijgen om het werken met outcome-indicatoren in de vingers te krijgen. Geef de professionals de ruimte om de cijfers met hun praktijkbegeleiders, management en cliënten betekenis te geven en er verbeteracties aan te koppelen. Ga met de instellingen aan de slag om de cijfers én het verhaal erachter te verbinden aan de kwaliteitscyclus.‘ Er kan lokaal verkend worden welke organisaties bereid zijn en de middelen hebben om een gelijkaardig initiatief in Vlaanderen op te starten.
Conclusies
Zoals je uit bovenstaande tekst kan afleiden is het thema al lang niet meer nieuw voor de sector: zowel in Nederland als België werd er reeds onderzoek gedaan naar effect in de jeugdhulp en werd door de overheid een aansporende positie ingenomen. Een groot verschil met Nederland is dat daar monitoring en verslaggeving over effectmeting gekoppeld werd aan de gemeenten en per 1 januari 2015 zijn gemeenten er wettelijk verplicht aan te geven welke outcome-criteria voor jeugdhulpvoorzieningen zij hanteren.
‘De meeste hulpaanbieders hebben er nu informatiesystemen in gebruik waarmee gegevens geregistreerd worden. Ook hierin is veel variatie. Standaard wordt vanaf 1 januari 2015 outputinformatie opgevraagd door het Centraal Bureau voor de Statistiek en jaarlijks of vaker wordt teruggekoppeld naar aanbieders.’
Uit recent gesprek met Van Yperen lijkt het niet aangewezen om dit ook zo in Vlaanderen bij wet vast te leggen maar kan er wel extra ondersteuning geboden worden door:
- Doorheen Vlaanderen in te zetten op lokale workshops die het eigenaarschap verhogen aan de hand van een concreet ondersteunend kader
- In te zetten op vorming die leidinggevenden in de opdracht ondersteunt (verbindend leiderschap)
- Faciliteren en verkennen van de mogelijkheden voor een lokale vertaling van SEJN in Vlaanderen
- In te zetten op voedende en innoverende achterliggende visie die de cijfers handen en voeten geeft. Het belang van duidelijke, innoverende visie wordt ook door Van Yperen onderstreept. Er is hierin volgens Van Yperen zonder twijfel een plaats weggelegd voor quality of life ‘gezien outcome een relatie moet hebben met wat je voor cliënten wil betekenen.’
Bronnen
Yperen, T.A. & Veerman, J.W.. (2008). Zicht op effectiviteit. Handboek voor praktijkgestuurd effectonderzoek in de jeugdzorg.
https://view.publitas.com/vzw-jo-in/agora_maart-2020/page/14-15
https://view.publitas.com/vzw-jo-in/agora_maart-2020/page/10-11
Skypegesprek met Tom Van Yperen, 13/05/2020
Rijn, M. J. van & Teeven, F. (2014). Brief aan Tweede Kamer over outcome-criteria in de jeugdhulp, d.d. 10 juni 2014, kenmerk 380146-121610-J
Yperen, T.A. van & Arum, S. van (2014). Werkende wijkteams. Uitgangspunten voor zicht op effectiviteit. Utrecht: Movisie.
https://jongerenwelzijn.be/professionelen/assets/docs/jeugdhulpaanbieders/publicaties/VUB_effectonderzoek-KTB-stroobants-vanderfaeillie.pdf
https://www.nji.nl/nl/Kennis/Publicaties/NJi-Publicaties/Leiding-geven-aan-transformatie
https://www.nji.nl/nl/Kennis/Publicaties/NJi-Publicaties/Outcome-sturing-in-de-jeugdhulp
Benjamien Calsyn / Koepelverantwoordelijke Jo-In, eindredacteur Agora