Alle Producten

Evaluatie & effectmeting

Effectmeting door Savant: concreet en pragmatisch

Uw organisatie geeft veel tijd en geld aan de ontwikkeling van de medewerkers. Maar helpt het ook? Zodra Savant de kans krijgt om de effecten van haar inspanningen in kaart te brengen, grijpt ze die. Effectmeting door Savant kenmerkt zich door een concrete en pragmatische aanpak. Onze ervaring is namelijk dat effectmeting al snel verzandt in een omvangrijk onderzoek dat weinig bruikbaar resultaat oplevert.

De drie evaluatieniveaus van Savant

De drie evaluatieniveaus van Savant
De vier evaluatieniveaus van Kirkpatrick zijn beroemd: tevredenheid, leerresultaten, werkeffecten en organisatieresultaten. Alle literatuur over effectmeting noemt (varianten op) deze niveaus. Savant vindt ze ook zeer bruikbaar, en legt daarbij de nadruk op het derde niveau, dat van de werkeffecten. Het is immers bij leerinterventies in organisaties allemaal begonnen om het veranderen van werkgedrag. Savant meet ook de effecten op het niveau van tevredenheid en leerresultaat, maar is vooral geïnteresseerd in de werkeffecten. Meten op het vierde niveau, dat van de organisatieresultaten, is belangrijk, maar over het algemeen zijn de meetresultaten niet één op één toe te schrijven aan de leerinterventie. Vandaar dat Savant niet teveel wil investeren in effectmeting op dit vierde niveau.
Het resultaat van de effectmeting door Savant is een concrete score op 3 niveaus (tevredenheid, leerresultaat en werkeffecten) en inhoudelijke verbeterpunten voor een volgende uitvoering.
Uiteraard stelt Savant vooraf met haar opdrachtgever vast waar de accenten liggen, en op welke manier de verschillende niveaus het meest efficiënt gemeten kunnen worden.
effectmeting spinnenwebHierboven ziet u het keuzemodel voor effectmeting dat Savant hierbij hanteert.
Hieronder leest u de stappen die Savant met haar opdrachtgever doorloopt om tot een effectmetingsplan te komen dat naadloos aansluit bij de organisatie en de interventie.


Stap 1. Bepaal het gewenste effect en niveau

Stap 1. Bepaal het gewenste effect en niveau
Wat zijn de gewenste effecten van de interventie? Op welke niveaus moet dit effect zichtbaar zijn?
In deze stap stelt Savant samen met u de gewenste effecten van de interventie vast en bepalen we op welk niveau dit effect zichtbaar moet zijn:
– Wat wil de opdrachtgever precies met deze interventie bereiken?
– Met welk resultaat is de opdrachtgever tevreden over de interventie?
– Bij welk evaluatieniveau past het gewenste effect? (tevredenheid, leerresultaat, werkgedrag)


Stap 2. Onderzoek de zichtbaarheid

Stap 2. Onderzoek de zichtbaarheid
Hoe kun je het effect van de interventie concreet zien?
In deze stap stellen we met elkaar voor de verschillende niveaus de criteria voor de effectmeting vast.

Tevredenheid:
Zijn de deelnemers tevreden over het leerproces? Is de organisatie tevreden over de wijze waarop de leerinterventie verliep? Hoe was de kwaliteit van de inhoud? Van de docenten, van de werkvormen? Hoeveel ruimte was er voor individuele leerdoelen? Etc.

Leerresultaat:
Zit het gewenste leerresultaat op kennis, op vaardigheid, op houding en/of op een combinatie hiervan? Savant formuleert de leerdoelen van haar leerinterventies altijd in termen van gedrag en heeft daarmee de criteria voor de effectmeting op dit niveau. De toets die de leerresultaten meet, is daar een directe afgeleide van. Dat kan een kennistoets zijn, maar ook een proeve van bekwaamheid.

Werkgedrag:
Savant vindt dit het niveau van effectmeting waar het werkelijk om gaat. Samen met de opdrachtgever wil ze voorafgaand aan de ontwerp- en ontwikkelfase vaststellen waaraan de opdrachtgever kan zien of het werkgedrag in de gewenste richting veranderd is. Ook de criteria op dit niveau expliciteert Savant in termen van zichtbaar gedrag.


Stap 3. Kies de methode en instrumenten

Stap 3. Kies de methode en instrumenten
Welke methode gaan we gebruiken? En welke instrumenten zetten we daarbij in?
In de derde stap stelt Savant in overleg met haar opdrachtgever vast welke methode we gaan gebruiken en welke instrumenten we daarbij gaan inzetten.

De methode
Allereerst stellen we vast welke methode we willen gebruiken om de effecten vast te stellen. Voorbeelden van afwegingen hierbij zijn:
– Maken we gebruik van een voor- en nameting, of is alleen een nameting voldoende?
– Maken we gebruik van een controlegroep, of is dat niet nodig?
Bovenstaande afwegingen hebben veel invloed op de kwaliteit van de resultaten, maar tegelijkertijd ook op de omvang van de effectmeting. Samen met de opdrachtgever willen we bekijken wat mogelijk is en welke keuzes wenselijk zijn.
Savant is er voorstander van om te kiezen voor methoden die eenvoudig zijn, kostenbesparend en toch efficiënt. Effectmeting mag geen doel op zich zijn!

De instrumenten
In stap 2 is vastgesteld wat we willen meten, in deze stap bepalen we hoe we deze criteria gaan meten. Om de effecten op het werkgedrag vast te stellen, zijn er verschillende mogelijkheden op de verschillende niveaus.

Instrumenten om tevredenheid te meten:
Om tevredenheid over het leerproces te meten, gebruikt Savant een standaard evaluatieformulier.
De resultaten hiervan verwerkt ze in een evaluatierapportage. De criteria op dit niveau zijn over het algemeen standaard, vandaar het meestal niet noodzakelijk is deze ‘op maat’ te maken.

Instrumenten om het leerresultaat te meten:
De toets die de leerresultaten meet, is een directe afgeleide van de leerdoelen. Bevinden die zich op kennisniveau, dan is de toets een kennistoets. Zijn de leerdoelen gericht op houding, dan kan de keuze vallen op een proeve van bekwaamheid. En daar tussenin bevinden zich allerlei andere vormen.

Instrumenten om de verandering in het werkgedrag te meten:
Om werkeffecten in kaart te brengen, zijn er verschillende mogelijkheden:
– interview of groepsdiscussie
– observatie
– gebruik van gegevens uit de organisatie (bijv. klanttevredenheid- of productiegegevens)
– vragenlijst (bijv. aan de deelnemers of de leidinggevende van de deelnemers)
– 180º evaluatie drie maanden na de interventie

180º evaluatie drie maanden na de interventie
Savant hanteert graag de 180º evaluatie. Een 180º evaluatie drie maanden na de interventie geeft inzicht in de perceptie van de deelnemer, maar ook in die van zijn leidinggevende.
Door op deze manier de invloed van de leerinterventie op het werkgedrag te meten, wordt duidelijk wat de invloed van de interventie geweest is, en hoe de opdrachtgever een dergelijke interventie een volgende keer nog effectiever kan maken. Positief neveneffect van de 180º evaluatie na drie maanden is dat deze het gesprek tussen leidinggevende en medewerker stimuleert, en het bewustzijn rondom het gewenste gedrag vergroot.


Stap 4. Vaststellen wanneer er sprake is van succes

Stap 4. Vaststellen wanneer er sprake is van succes
Wanneer is het effect een succes?
In deze stap stellen we met elkaar vast wanneer de opdrachtgever tevreden is over de behaalde resultaten. We doen dit door per criterium vast te stellen aan welke waarde deze moet voldoen om het als succesvol te beschouwen.


Stap 5. De effectmeting uitvoeren

Stap 5. De effectmeting uitvoeren
Welke verbeteradviezen komen er uit de effectmeting?
Als stap 1 t/m 4 doorlopen zijn (voorafgaand aan de uitvoering van de leerinterventie!) voert Savant de effectmeting uit, in de periode van drie maanden direct na afloop van de leerinterventie.
De rapportage van de effectmeting is al even pragmatisch en concreet als de effectmeting zelf.
De opdrachtgever ontvangt op de drie evaluatieniveaus een beknopte, heldere analyse, gekoppeld aan concrete verbeteradviezen.

Voor meer informatie over evaluatie en effectmeting kunt u terecht bij Merel Snijders Blok.