Categorie archief: Impact measurement

Impactonderzoek (York 4)

effectEen belangrijk thema van het congres is “value and impact“. Lastig te vertalen; impact is effect, maar wat te doen met value? Je kunt dat letterlijk vertalen met “waarde”, maar dat heeft zo’n financiële bijklank.  En bij “meerwaarde” lijkt het dat het iets extra’s is, waar je ook zonder zou kunnen. Als je ziet hoe het gebruikt wordt in deze context dan vertaal ik het liever als “Bijdrage”. Wat en hoe draagt de bibliotheek bij aan de verwezenlijking van de doelen van de universiteit? Dat is de kern waar het om draait. Feitelijk komen hierbij performance indicators, statistieken van bibliotheek én universiteit en gebruikersonderzoeken samen.

Laten we het onderwerp even voor het gemak splitsen. Ik begin met impactstudies. Het gaat dan vaak om onderzoek naar het effect van bibliotheekgebruik op studiesucces (hoogte van de cijfers, studievertraging, uitval). De bijdrage die de bibliotheek levert aan leren. Ik heb er al eens over geschreven maar ik som ze hier de bekendste op:

Library Data and Study Success, University of Minnisota
Library Cube van de University of Wollongong (recent nog in het nieuws, zie mijn blogje hierover)
Wong, Shun Han Rebekah and T.D. Webb (2011) “Uncovering Meaningful Correlation between Student Academic Performance and Library Material Usage.” College and Research Libraries , july
Library Impact Data Project van een aantal Britse universiteiten, onder andere de University of Huddersfield. Dit project is inmiddels afgesloten maar de resultaten worden verder gebracht in nieuw project waar onder andere JISC bij betrokken is: LAMPThe project will be developing a prototype shared library analytics service for UK academic libraries. Initially this is being envisioned as a kind of data dashboard, bringing together disparate data sets and visualising them in an attractive and meaningful way. Dat zou je in Nederland toch ook willen? UKB, doe je best!

Er zijn ook andere impactonderzoeken, bijvoorbeeld naar het Effect van liaison librarians, University of Loughborough. Veel meer projecten en onderzoeken zijn te vinden in een bibliografie samengesteld door Roswita Poll. Zij werkt ook aan een ISO norm op dit gebied (al jaren, naar verwachting is het project begin 2014 afgerond).

Jammer genoeg is er nog steeds geen onderzoek waaruit blijkt dat bibliotheekgebruik daadwerkelijk leidt tot betere studieresultaten. Ook Margie Jantti van Wollongong kon mij hier verder niets nieuws over melden.

Advertenties

Terug in York (York 1)

metenEens in de twee jaar vindt het Northumbria International Conference on Performance Measurement in Libraries and Information Services plaats. Dit keer was het de tiende keer en het speelde zich voor de tweede keer af in York. Twee jaar geleden zaten we op de campus van de universiteit, op een klein studentenkamertje. Ik schreef toen over mijn ervaringen in een aantal blogs, te beginnen bij mijn ervaringen in de “cel”. Dit keer werden we ontvangen in een prachtig Victoriaans hotel. Het hotel ligt tegen het station aan; slapen met het raam open (warmte) was als slapen op het perron.
De 165 deelnemers aan het congres komen van over de hele wereld, met een nadruk op de Engelstalige landen. Er waren zelfs zo’n 10 Chinezen, maar die waren na de eerste dag spoorloos.  Vorige keer was ik de enige Nederlander, dit keer bestond de Nederlandse delegatie uit vier deelnemers, waarvan twee een presentatie hielden (Anne van Weerden van de Universiteit Utrecht en Marjolein Oomes van het SIOB). Een teleurstellend aantal als je de kwaliteit van dit congres in ogenschouw neemt. Veel deelnemers kennen elkaar overigens van voorgaande congressen of van het eveneens tweejaarlijkse congres dat op de “andere” jaren in de VS wordt gehouden.
De titel van het congres komt niet helemaal overeen met de inhoud, misschien komt het daardoor dat Nederlanders er niet voor warm lopen. Het woord Northumbria is misleidend, het zou zomaar een klein lokaal congres kunnen lijken. Dat is het dus in het geheel niet. Verder gaat het ook niet meer over bibliotheekstatistiek maar vooral over value en impact,  kwaliteitsverbetering en klantgericht werken. Thema’s die toch menigeen aanspreken. Het uitgebreide programma is te vinden op de website van het congres. 
Ik heb een groot aantal presentaties bijgewoond. Teveel om allemaal te bloggen, maar in de volgende posts zal ik proberen er een aantal samen te vatten.

Presteren studenten die naar bibliotheek gaan beter?

Jlearninguichende tweets en nieuwsberichten: “Studenten die naar de bibliotheek gaan presteren beter“. Wie de moeite nam om het oorspronkelijke artikel eens goed te lezen kwam toch een beetje van een koude kermis thuis. Op de eerste plaats wordt er gerept over gegevens die in 2010 worden opgeleverd. Het is dan ook een ouder artikel dat (opnieuw) is gepubliceerd. Het verscheen eerder in deze congresbundel en als publicatie van de University of Wollongong zelf.
Op de tweede plaats zijn de resultaten nou niet bepaald erg overtuigend. Er worden veel woorden gebruikt om uiteindelijk met een magere conclusie te komen: er lijkt een statistische verband te bestaan tussen bibliotheekbezoek en studiesucces.  De Australiers maken helaas niet het voorbehoud dat ze zouden moeten maken: er is geen oorzaak-gevolg relatie gevonden, er is geen causaal verband. Zo zijn er ongetwijfeld studenten die nooit een bibliotheek bezoeken en tóch glansrijk slagen.
Een zelfde soort onderzoek is uitgevoerd in de UK, door een samenwerkingsverband van een aantal universiteiten, onder leiding van Graham Stone. Zij documenteerden hun onderzoek zorgvuldig op hun weblog Library Impact Data Project.  Zij maken wel netjes het voorbehoud dat er weliswaar een verband bestaat tussen bibliotheekgebruik en studiesucces, maar dat dit geen oorzaak-gevolg redenering is.
Beide onderzoeken werden gepresenteerd op het 9th Northumbria International Conference on Performance Measurement in Libraries and Information Services in York, 2011. Ik bezocht dat congres en schreef er eerder over op dit blog. Dit jaar zal Wollongong op dat congres een keynote verzorgen en ook Graham Stone treedt op. Ik zal er ook weer bij zijn en zal er verslag van doen, want ondanks mijn bezwaren worden hier wél pogingen ondernomen om de impact van bibliotheken op studiesucces te concretiseren en dat is te prijzen.

Impact van bibliotheken: Oakleaf op LILAC 2012

In een sprankelende keynote van Megan Oakleaf werden we met de neus op de feiten gedrukt. Een bibliotheek heeft toegevoegde waarde als zij iets bijdraagt aan het behalen van de doelen van de moederorganisatie. In het onderwijs is dat onder andere “het leren van studenten”. We kunnen als bibliotheken nog helemaal niet aantonen dat wij daaraan bijdragen, want we kennen de feiten niet.  Er komen wel steeds meer bewijzen *) voor de positieve correlatie tussen bibliotheekgebruik en het behalen van hogere cijfers, maar daarmee is niet het bewijs geleverd dat de bibliotheek ook daadwerkelijk bijdraagt aan het leren, onderwijs en studiesucces. In een veelbesproken artikel licht Oakleaf deze stelling nader toe: Are they learning? Are we?. We verzamelen domweg niet genoeg gegevens hierover en als we dat wel doen, dan doen we het niet systematisch. En zoals Oakleaf Deming citeerde: “In God we trust, all others must bring data”. Aan de hand van het bijgevoegde schema kan je deze zaken wel handig in kaart brengen.

*)
Huddersfield: Does library use affect student attainment? A preliminary report on the Library Impact Data Project
Wollongong: Measuring the value of library resources and student academic performance through relational datasets
Hongkong: Uncovering Meaningful Correlation between Student Academic Performance and Library Material Usage

Gebruiken wetenschappers bibliotheekcollecties?

Begin februari publiceerde JISC een omvangrijke (136 blz) samenvatting van het onderzoek UK Scholarly reading and the value of library resources geschreven door Carol Tenopir en Rachel Volentine. Het onderzoek is uitgevoerd onder wetenschappelijk medewerkers en docenten van zes Britse universiteiten. In totaal beantwoordden ruim 2100 wetenschappers vragen over het gebruik van artikelen, boeken en social media. Het onderzoek werd uitgevoerd met behulp van de critical incident methode (“de laatste keer dat ik een artikel las, deed ik dat omdat…)

Het voert wat ver om de samenvatting van 136 bladzijden in een paar regels in een weblog weer te geven. Daarom slechts een greep uit de vele resultaten:

Wetenschappers gebruiken ongeveer 22 artikelen per maand, die voor 94% geleverd worden door de bibliotheek.

Zonder bibliotheek hadden wetenschappers 17% van de gebruikte artikelen niet kunnen vinden of verkrijgen.

Boeken lezen vinden wetenschappers zeer belangrijk, maar slechts 26% van de boeken wordt geleend uit de bibliotheek. Veel wetenschappers kopen hun eigen boeken of krijgen ze gratis van uitgevers.

En tenslotte een conclusie die momenteel steeds opnieuw in andere jasjes opduikt: succesvolle wetenschappers lezen meer artikelen en boeken. Geen oorzaak-gevolg relatie, maar wel een statistisch aantoonbaar verband waarmee sommige bibliotheken hun toegevoegde waarde willen bewijzen. Voor wat het waard is!

 

 

De waarde van bibliotheken

Nu budgetten overal onder druk staan is bij bibliotheken de behoefte groot om de waarde voor hun doelgroep/organisatie te bewijzen. Mijn vorige blogposts gingen vooral over input en output, nu gaat het over outcome. Wat is het resultaat van de output van de bibliotheek tbv de doelgroep? Dit is een lastige discussie en op het congres in York kwamen verschillende benaderingen aan bod, maar niemand had al een pasklaar antwoord. De discussie is ook breed: openbare bibliotheken hebben op een andere manier waarde dan academische bibliotheken. Ik richt mij op de laatste categorie.

ACRL publiceerde een jaar geleden een goed overzichtswerk: The value of academic libraries. Hierin worden 10 verschillende domeinen onderscheiden waarin de academische bibliotheek impact (en daardoor waarde) voor haar organisatie zou kunnen hebben. Samengevat hebben deze aspecten te maken met studenten (werving, studiesucces), het onderwijs (resultaten, tevredenheid), onderzoek (publicaties, “grants”) en de universiteit als organisatie (reputatie, ranking).  Wil je de waarde van de academische bibliotheek in kaart brengen dan zou je ál deze aspecten moeten onderzoeken.  Gelukkig is het ISO van Roswitha Poll bezig met een standaard “Methods and procedures for assessing the impact of libraries”. Helaas zijn ze bijna 2 jaar bezig geweest met de definities, dus het kan nog even duren…

Een integrale benadering van het onderwerp wordt gezocht in een scorecard voor “value“.  Stephen Town (York) en Martha Kyrillidou (ARL) zijn hiermee aan de slag. Ook hier voorlopig nog een hoog abstractie gehalte en geen pasklare antwoorden.  Belangrijkste en meest praktische aanwijzing: begin met het bepalen van de “value” en zoek daarna de “measures” erbij en niet andersom.

Twee universiteiten timmeren aan de weg met een deelaspect: de impact van de bibliotheek op studiesucces. Hudderfield heeft aangetoond dat studenten die met goede resultaten afstuderen ook vaker van bibliotheekdiensten gebruik hebben gemaakt. Over dit onderzoek heb ik al eerder geschreven. Een ander onderzoek met hetzelfde doel is dat van de Universiteit van Wollongong. Het lijkt veel op Huddersfield, alleen is dit project nog niet afgerond. Iedereen hoopt natuurlijk dat ook hier blijkt dat de bibliotheek invloed heeft op studiesucces.

Een goede poging om de waarde van de bibliotheek voor onderzoek en onderzoekers te beschrijven komt van het RIN. Ook zij komen nog niet verder dan het aangeven van de terreinen waarop de bibliotheek impact heeft, maar zij hebben nog geen concrete aanwijzingen hóe je dat vervolgens zou kunnen meten.

Een heel andere benadering is Return of Investment. Ofwel, hoeveel (financiële) baat heb je als organisatie bij een bibliotheek. Wat levert het op? Een belangrijke onderzoeker op dit terrein is Carol Tenopir, een van de keynote speakers in York. Zij heeft baanbrekend werk verricht en staat aan de basis van een website waar veel informatie over ROI te vinden is.

Alles samenvattend: het overtuigend bewijzen van de waarde van de bibliotheek voor haar moederorganisatie is een hele kluif, en er is nog niemand die hiervoor een werkbare methodiek heeft ontwikkeld.

(Uit)geteld in de bieb (2)

Verzamelen van statistieken is al een kunst op zich, maar nog lastiger wordt het als je wat zinnigs wilt gaan doen met die statistieken.  Veel bibliotheken werken met prestatie-indicatoren. Het congres in York bood enkele presentaties over dit onderwerp. Een prestatie-indicator is een meetbare grootheid, die een aanwijzing geeft over onder meer de kwaliteit en doelmatigheid van bedrijfsprocessen, meestal aan de hand van een streefgetal of vastgestelde norm. Bijvoorbeeld: de prestatie-indicator voor werkplekken in de bibliotheek wordt berekend op basis van het aantal werkplekken tov het totaal aantal studenten waarvoor de plekken bedoeld zijn. Ook een leuke: hoeveel procent van de in jaar x aangeschafte boeken zijn in dat jaar uitgeleend? Dit soort berekeningen zijn natuurlijk voer voor eindeloze discussies in bibliotheken. Gelukkig is er een ISO norm waarin het allemaal al is beschreven: ISO 11620:2008  Library performance indicators. Er wordt in ISO verband gewerkt aan een update van deze norm, want 2008 is natuurlijk al weer wat aan de oude kant. Zo kom je in deze norm geen berekeningen tegen die te maken hebben met het gebruik van websites. Helaas gaan deze processen traag en zullen we nog wel even moeten wachten op de update.  Toch wordt alom aangeraden om met de ISO norm te werken en niet zélf iets te gaan verzinnen.

Prestatie indicatoren kunnen op verschillende manieren worden gebruikt, bijvoorbeeld in benchmarks (UKB-benchmark) of in balanced scorecards.  Je kunt ze ook weergeven in dashboards, een soort cockpit-metertjes die in rood of groen uitslaan. Dat kan je gebruiken als je vooral intern je zaakjes goed wilt bijsturen.

Het is van belang om je niet te verliezen in eindeloze reeksen prestatie-indicatoren. Je kunt het beste een kleine set uitkiezen (tussen de 20 en 30 indicatoren) die in beeld brengen wat je als bibliotheek belangrijk vindt. Een gebruikersonderzoek (bv via LibQual) kan helpen om een selectie te maken, maar ook een beleidsplan biedt voldoende uitgangspunten om het vizier van de indicatoren op scherp te zetten. Een selectie prestatie indicatoren noemt men Kritische Prestatie Indicatoren  (KPI).  Als voorbeeld:  UB in Nijmegen publiceert jaarlijks de resultaten van de KPI-metingen op hun website.

(Uit)geteld in de bieb

Aan de basis van alle activiteiten rondom het meten van kwaliteit in de bibliotheek liggen de statistieken. We kennen ze allemaal wel, de uitleenstatistiek, de IBL-statistiek, en de statistieken voor het gebruik van e-journals, e-books en databases. Statistiek van deze e-resources is een  ingewikkeld terrein. Er zijn heel wat spelers in dit veld. In York woonde ik enkele presentaties hierover bij. Véél afkortingen, samenwerkingen en ingewikkelde berekeningen! Pfff. Een overzicht van de belangrijkste initiatieven:

Counter (Counting online usage of networked electronic resources).  Counter is een internationaal project, waarin uitgevers, bibliotheken en consortia samenwerken om de statistieken van gebruik van elektronische informatie goed en betrouwbaar te regelen. Daarvoor is veel afstemming nodig, en COUNTER werkt daaraan. Een van de recente producten van dit project is JUF (Journal Usage Factor), een poging om het gebruik van e-journals door te berekenen naar een prestatie indicator waarmee de impact en kwaliteit van het tijdschrift in kaart kan worden gebracht.

Een andere project komt voort uit JISC (de Engelse SURF): Journal Usage Statistics Portal JUSP. Hierin werken 100 Engelse hoger onderwijsinstellingen samen met grote uitgevers aan een portal waarin deelnemende bibliotheken kunnen zien hoe de tijdschriften waarop zij licenties hebben, worden gebruikt.

De Engelse broer van het UKB is SCONUL, en zij hebben een uitgebreide website voor “performance” waaronder een portal voor alle statistieken die bibliotheken verzamelen, een soort uitgebreide UKB Benchmark.

Ook handig: een datafarm (Penn University) .

Tenslotte is er nog een club van “liefhebbers” van bibliotheekstatistieken: MUDL, Managing and understanding data in libraries.

Wat me bij dit alles vooral overviel was een fikse jaloezie op de Engelse situatie, waar dit allemaal al geregeld is. In Nederland hebben we nog heel wat stapjes te zetten! SURFdiensten en UKB, krijgen wij ook zoiets moois?

Alles van waarde is weerloos

Deze mooie dichtregel van Lucebert lijkt van toepassing op bibliotheken. Althans, dat is mijn indruk na 3 dagen congres over performance measurement in York. Veel, zo niet alle bijdragen hebben een wat zoekende toon. Hoe kunnen we overtuigend de waarde van bibliotheken aantonen nu de financiele middelen van universiteiten onder druk staan? Er gebeurt van alles op dat vlak: ISO-normen, impactmetingen (huddersfield ea), literatuurstudies (ACRL), value scorecard, gebruikersonderzoeken (LibQual) en nog veel meer. Als ik thuis ben zal ik het allemaal eens netjes, met links, op een rijtje gaan zetten. Het valt echter op dat niemand, hoe stellig of gepassioneerd de presentatie ook is, al weet hoe het zou moeten. Een van de intrigerende vragen is bijvoorbeeld hoe je de impact van een bibliotheek op studiesucces of op leren kunt aantonen. Helaas worden studiesucces en leren door zoveel factoren beinvloed dat het vrijwel onmogelijk is daar een bewijs uit te halen. Ook over Huddersfield blijf ik sceptisch. Zij tonen aan dat succesvolle studenten vaker de bibliotheek bezoeken en vaker databases raadplegen dan minder succesvolle studenten. Maar als succesvolle studenten gewoon slimmer zijn en betere studievaardigheden hebben en weten dat het handig is om naar de bibliotheek te gaan? Misschien tonen ze dat wel aan.
Ik heb deze dagen veel gehoord en veel informatie verzameld. Een aantal belangrijke bronnen heb ik getwitterd en ik zag dat ze al opgepikt zijn door anderen. Ik zal de komende weken eens goed door de stapel (op iPad) heen gaan en over relevante zaken bloggen. De twitterstream is ook interessant :#pm9york

Dubieuze relaties op LIBER

Hoeveel impact heeft bibliotheekgebruik op studiesucces? Met deze vraag is de University of  Huddersfield, samen met enkele partners, een onderzoek begonnen. Graham Stone presenteerde op LIBER de voorlopige resultaten van dit onderzoek. Een lastig onderzoek, zo bleek. Wat hebben ze gedaan? Ze hebben geanonimiseerde gegevens uit de studentenadministratie gekoppeld aan bibliotheekgebruik. Bibliotheekgebruik is geoperationaliseerd in termen van aantal leningen, inlogs in metalib en bibliotheekbezoek. Wat bleek? Er was geen sterke statistische correlatie tussen deze gegevens en studieresultaten te vinden. Maar, het blijkt wel zo te zijn dat studenten met betere resultaten (grade1) twee keer zoveel boeken lenen, drie keer zoveel inloggen en vaker naar de bieb komen als studenten die grade 3 scoren. Maar nu? Wat is hier nu oorzaak en wat het gevolg. Haal je betere resultaten doordat je meer leent? Of leen je meer omdat je meer interesse voor het vak hebt, en scoor je daardoor beter? Of ben je zo slim dat je snapt dat je de bieb nodig hebt. Dat werpt nóg een interessante vraag op. 15% van de studenten die hoog scoorden hadden geen gebruik gemaakt van de bibliotheek! Hoe zit dat dan? Zijn dat de echte genieën?
Kortom, dit onderzoek werpt voorlopig meer vragen op dan het beantwoordt, maar ze zijn ook nog niet klaar. Er gaan nog focusgroep interviews plaatsvinden om de resultaten verder uit te diepen. Ook is men bezig met het uitzoeken van gegevens over de non-users. Het project publiceert haar onderzoeksresultaten op een lezenswaardig weblog. In de Verenigde Staten heeft ACRL een interessant rapport over dit zelfde onderwerp uitgebracht (The value of academic libraries). Beide onderzoeksgroepen hebben inmiddels contact met elkaar.