Categorie archief: Impact measurement

Bewijs geleverd!

effectWe zoeken al jaren naar bewijs dat we als bibliotheken een positieve invloed hebben op studieresultaten. Ik schreef daar al eerder over. Tot nu toe was het bewijs mager en gebaseerd op een relatief kleine onderzoekspopulatie. Maar enkele jaren terug is er door de ACRL een driejarig programma gestart, waarin bibliotheken aangemoedigd worden om onderzoek uit te voeren. In totaal doen ruim 200 Amerikaans hoger onderwijs-bibliotheken hieraan mee. Deze week verscheen het tweede rapport van dit programma, waarin de resultaten van 74 onderzoeken gebundeld zijn. Dat levert bij elkaar steeds meer bewijs op voor de positieve invloed die wij met onze bibliotheken en -diensten hebben op individuele studieresultaten en universitaire scores in het algemeen. Zo stelt het rapport:

  1. Beginnende studenten hebben baat bij informatievaardigheidscursussen
  2. Bibliotheekgebruik verhoogt individuele studieresultaten
  3. Samenwerking tussen bibliotheek en andere universitaire diensten (schrijfcentrum, academic skills) hebben positieve invloed op studiesucces, studieresultaten
  4. Informatievaardigheidscursussen versterken algemene studievaardigheden en academische vaardigheden, zoals probleemoplossend en kritisch denken

Het eerste rapport verscheen in 2015. Daarin werd nog niet zo sterk als nu de bijdrage van de bibliotheek aan onderwijs en leren aangetoond.

Edinburgh (5) : Outcomes, Impact & Value

directional-valueBig Data: de bibliotheek én het onderwijs doen ook mee in trend om data te verzamelen en verbanden te ontdekken. Een belangrijke exponent hiervan, Learning analytics, heeft inmiddels op veel plekken voet aan de grond gekregen. In Wollongong, de bakermat van de fameuze Library Cube van Margie Jantti, wordt nu geprobeerd om de gegevens uit de Cube (over bibliotheekgebruik) te combineren met data die Learning Analytics oplevert. Het is een logische stap, die ertoe kan leiden dat het effect van bibliotheek op studiesucces beter dan nu kan worden aangetoond. Wordt ongetwijfeld vervolgd.
In de UK wordt ook onderzoek gedaan naar het resultaat (outcome) van bibliotheekdiensten. Een voor mij nieuw meetinstrument dat hiervoor wordt ingezet is de AMOSSHE Value & Impact tookit. Dit instrument richt zich op student support en het effect daarvan op studenten en/of hun leren. Het blijkt dat het ook in de bibliotheek een bruikbare tool is. Zo gebruikt de University of Sunderland het om te meten of hun diensten bewijsbaar effect hebben. Ze hebben daar een interessante benadering: bij ieder project of nieuwe dienst wordt vooraf bepaald wat de gewenste outcome / resultaat van deze dienst zou moeten zijn. Dat betekent dat ze nagaan wat de afnemer van de dienst eraan moet hebben. Dus niet of deze tevreden is met de dienst, maar of het een effect heeft gehad. Achteraf wordt dit gecheckt met behulp van het Amosshe instrument. Het werken met outcomes bij het opzetten van diensten is ook een goed hulpmiddel bij de marketing ervan. Je kunt op die manier veel beter overbrengen wat een gebruiker daadwerkelijk hééft aan het gebruiken van de dienst. In marketing zijn ze dan ook bijzonder bedreven in Sunderland. Kijk maar eens naar hun 7 Steps Marketing toolkit.

Dit is mijn laatste blog over het congres in Edinburgh. Over twee jaar wordt het congres naar verwachting weer ergens in UK georganiseerd. Het is meestal midden in de Nederlandse zomervakantie, maar het is werkelijk de moeite waard om het eens te bezoeken!

Edinburgh (1): congres in een tent

dynamic earthVan 20 tot en met 22 juli vond mijn favoriete congres met de lange naam weer plaats. De 11th Northumbria International Conference on Performance Measurement in Libraries and Information Services werd deze keer in Edinburgh (in het futuristisch ogende Our Dynamic Earth museum) gehouden.  Ik geef toe, het klinkt saai, maar het was een hartstikke goed en interessant congres over allerlei aspecten rondom kwaliteitszorg in bibliotheken. Het congres wordt georganiseerd door mensen uit York, dit keer in samenwerking met mensen van de National Library of Scotland. Het is een tweejaarlijks congres, met een parallel congres in de andere jaren in de VS. Het is een internationaal gezelschap: uit UK, VS, Australië en Zuid-Afrika zijn er altijd vrij grote groepen deelnemers. Daarnaast zijn er uit een groot aantal landen enkele deelnemers, zoals uit Nederland, dit jaar vertegenwoordigd door 4 mensen.

Ging het twee jaar geleden vooral over het meten van impact, dit jaar waren er meerdere interessante thema’s. Zo is de trend van antropologische onderzoeksmethoden ook dit congres binnen gedrongen onder de noemer “participatory design”. Een ander interessant cluster presentaties behandelde de “culture of assessment”. Lastig te vertalen, maar het gaat over het kwaliteitsbewustzijn van de hele organisatie, van alle medewerkers in de bibliotheek en de wijze waarop je dat kunt meten en beïnvloeden. Het in kaart brengen van de relaties die je als bibliotheek(medewerker) hebt met je “community” is een andere uitdaging waarover gesproken werd. Engagement was het codewoord van een groot aantal bijdragen. Uiteraard waren er ook weer oude vertrouwde onderwerpen: het meten van de invloed van de bibliotheek op studiesucces is onder invloed van learning analytics een nieuwe fase ingegaan. En uiteraard was de LibQual-club weer in volle glorie aanwezig en werden er vele “good practices” uitgewisseld. In een aantal blogs zal ik de komende dagen mijn bevindingen van dit congres vastleggen. Daarnaast is het ook wel belangrijk om te vermelden dat Edinburgh een fantastische congresstad is, dat er toevallig een heel leuk jazz- en bluesfestival was en dat het conference dinner in een heel bijzondere historische bibliotheek werd opgediend. Voor de broodnodige ontspanning ná al die presentaties was dus ook gezorgd.

Wat is het je waard?

ROIplaatjeJe steekt er geld in, maar levert dat wat op? En wat dan? Is dat uit te drukken in geld? Een onderzoeksgroep rondom Carol Tenopir en Bruce Kingma denkt van wel. In elk geval doen zij verwoede pogingen om in kaart te brengen wat de Return on Investment (ROI) van universiteitsbibliotheken is. Het begon allemaal in 2008 bij de University of Illinois, waar werd uitgezocht of je aan de hand van de inkomsten uit Grants (subsidies) kon nagaan wat de bijdrage daaraan was geweest vanuit de bibliotheek. Daartoe telde men citaties in het onderzoeksvoorstel, waarbij men aannam dat deze citaties uit bibliotheekbronnen afkomstig waren. Via een ingewikkelde berekening stelde men vast dat één dollar die geïnvesteerd was in de bibliotheek $ 4,38 opleverde.
Dit onderzoek is bekend geworden onder de titel Lib-Value Phase I.
Phase II deed ditzelfde onderzoek bij 8 bibliotheken, verspreid over een aantal landen. Dat bleek veel lastiger en leidde niet tot een eenduidig resultaat. Pikant detail: beide onderzoeken werden gesponsord door Elsevier.
In het meest recente nummer van College and Research Libraries is het verslag te vinden van Phase III. Hierin is het onderzoek op een andere wijze voortgezet bij de Syracuse University Library. In deze benadering heeft men via een enquete een aantal gegevens boven water gehaald: hoeveel bibliotheekbronnen heb je bij je laatste bibliotheekbezoek én bij het laatste digitale bezoek gebruikt, hoeveel bibliotheekbronnen heb je gedurende de laatste 30 dagen gebruikt en hoeveel zou je bereid zijn te betalen (in tijd en geld) om deze bronnen elders fysiek of digitaal op te halen. De onderzoeksgroep bestond uit 222 docenten en 782 studenten. Op de onderzoeksresultaten werd een berekening losgelaten. Hieruit blijkt dat iedere dollar die wordt uitgegeven voor de bibliotheek een waarde vertegenwoordigt van $4.13 voor studenten en onderzoekers.
Nu lijkt dit allemaal exacte wetenschap, maar dat is het natuurlijk niet. Het is voor een groot gedeelte gebaseerd op nattevingerwerk, maar het geeft wel een positief beeld van de waarde die de bibliotheek heeft voor onze klanten.

 

Impact van bibliotheken: ISO 16439:2014

metenWe hebben er lang op gewacht, maar nu is ie er eindelijk: de ISO norm Methods and procedures for assessing the impact of libraries. Roswita Poll, projectleider, vertelde al 3 jaar geleden dat deze norm ontwikkeld werd, maar dat het ingewikkelde materie en een traag proces was. Zo’ n norm doorstaat heel wat reviews voordat ie wordt vastgesteld.

Deze norm is de derde in een rijtje normen die vastleggen hoe je prestaties kunt meten in bibliotheken:

ISO 2789:2013 International library statistics
ISO 11620:2014 Library performance indicators

De norm is minder normatief dan je zou verwachten. Geeft 11620 gewoon recht voor zijn raap aan hoe je berekeningen moet maken, het meten van impact is heel wat minder direct. Feitelijk geeft deze norm aan welke data je zou kunnen gebruiken om de impact van de bibliotheek af te leiden. Gelukkig begint de norm met een hele riedel definities, zodat we ook kunnen lezen wat impact in dit verband betekent: Difference or change in an individual or group resulting from the contact with library services.
Impact is onderdeel van de trits input (geld, personeel, collectie..), output (uitleningen, downloads, beantwoorde vragen), outcome (aantal gebruikers, klanttevredenheid), impact, value (belang  dat stakeholders hechten aan de bibliotheek).

Het rapport leest niet lekker weg, maar geeft wel een mooi overzicht van de data die je zou kunnen gebruiken om impact aan te tonen. Veel van die data heb je als bibliotheek al in huis, zoals bezoekersaantallen of uitleenstatistieken. Maar je kunt ook nieuw onderzoek doen en de norm geeft allerlei handvatten voor verschillende methodieken. In dat kader komt ook gebruikersonderzoek uitgebreid aan de orde.
Wat de norm bovendien interessant maakt is dat het een overzicht geeft van recente literatuur over de besproken onderwerpen.
Misschien klinkt het allemaal taai en saai, maar in tijden van bezuinigingen is het nooit weg om aan te tonen dat de bibliotheek er toe doet.

De norm is via NEN  te koop voor het astronomische bedrag van € 176,-.

Waardeloos?! (York 5)

directional-valueWat is de bijdrage van de bibliotheek aan de missie van de universiteit? Dat is de vraag die centraal moet staan als we het hebben over “value“. Traditioneel hielden bibliotheken zich vooral bezig met het in kaart brengen van de eigen prestaties: hoe groot is de collectie, hoe vaak wordt die geraadpleegd, wat is de doorloopsnelheid van het catalogiseren etc. Dat zijn intern gerichte indicatoren. Niet onbelangrijk, maar als het om value gaat zijn het niet de meest voor de hand liggende grootheden. Dan komen er andere vragen op.  Want hoe verbind je de doelen van de universiteit met de producten en diensten die de bibliotheek levert. En hoe maak je dat vervolgens meetbaar? In mijn vorige post schreef ik al over impact, het (vermeende) effect van bibliotheekgebruik op studieresultaat. Als je dat écht kunt meten, dan heb je één van de indicatoren die value operationaliseren te pakken. Vooralsnog wordt er nog flink geworsteld om dit onderwerp systematisch aan te pakken. De benadering vanuit de financiële hoek (Return on Investment)  is langzamerhand verlaten. Vorig congres sprak Carol Tenopir nog over verschillende ROI benaderingen, maar daar heb ik nu niets meer over gehoord. Het project van Tenopir gaat overigens nog steeds voort en het project LibValue is breder dan alleen ROI; je kunt hen volgen op hun website.

Het belangrijkste overzicht van alles wat met value te maken heeft is van de hand van de Megan Oakleaf, het Value of Academic Libraries Report (ACRL, 2010). In het kielzog van dit rapport verscheen ook een toolkit met allerlei handige links.

Een team van de University of Loughborough onderzocht wat de resultaten waren van een 8-tal value-projecten in UK, de VS en Scandinavië. Nogal teleurstellend: …no systematic evidence of the value of academic libraries for teaching and research staff. Behoorlijk waardeloos eigenlijk, in allerlei opzichten. Overigens geven ze aan dat dit vermoedelijk mede veroorzaakt wordt door het gegeven dat de wetenschappers en docenten té weinig bekend waren met de diensten van de bibliotheek. Beter communiceren dus! En het bewijst ook dat de methodieken om value aan te tonen nog niet voldoende ontwikkeld zijn (hoop ik).

De University of Washington laat op haar website zien wat volgens hen de bijdrage is van de bibliotheek aan onderwijs en onderzoek.

Een actuele bibliografie over dit onderwerp is te vinden op de website van Tenopir.

 

Impactonderzoek (York 4)

effectEen belangrijk thema van het congres is “value and impact“. Lastig te vertalen; impact is effect, maar wat te doen met value? Je kunt dat letterlijk vertalen met “waarde”, maar dat heeft zo’n financiële bijklank.  En bij “meerwaarde” lijkt het dat het iets extra’s is, waar je ook zonder zou kunnen. Als je ziet hoe het gebruikt wordt in deze context dan vertaal ik het liever als “Bijdrage”. Wat en hoe draagt de bibliotheek bij aan de verwezenlijking van de doelen van de universiteit? Dat is de kern waar het om draait. Feitelijk komen hierbij performance indicators, statistieken van bibliotheek én universiteit en gebruikersonderzoeken samen.

Laten we het onderwerp even voor het gemak splitsen. Ik begin met impactstudies. Het gaat dan vaak om onderzoek naar het effect van bibliotheekgebruik op studiesucces (hoogte van de cijfers, studievertraging, uitval). De bijdrage die de bibliotheek levert aan leren. Ik heb er al eens over geschreven maar ik som ze hier de bekendste op:

Library Data and Study Success, University of Minnisota
Library Cube van de University of Wollongong (recent nog in het nieuws, zie mijn blogje hierover)
Wong, Shun Han Rebekah and T.D. Webb (2011) “Uncovering Meaningful Correlation between Student Academic Performance and Library Material Usage.” College and Research Libraries , july
Library Impact Data Project van een aantal Britse universiteiten, onder andere de University of Huddersfield. Dit project is inmiddels afgesloten maar de resultaten worden verder gebracht in nieuw project waar onder andere JISC bij betrokken is: LAMPThe project will be developing a prototype shared library analytics service for UK academic libraries. Initially this is being envisioned as a kind of data dashboard, bringing together disparate data sets and visualising them in an attractive and meaningful way. Dat zou je in Nederland toch ook willen? UKB, doe je best!

Er zijn ook andere impactonderzoeken, bijvoorbeeld naar het Effect van liaison librarians, University of Loughborough. Veel meer projecten en onderzoeken zijn te vinden in een bibliografie samengesteld door Roswita Poll. Zij werkt ook aan een ISO norm op dit gebied (al jaren, naar verwachting is het project begin 2014 afgerond).

Jammer genoeg is er nog steeds geen onderzoek waaruit blijkt dat bibliotheekgebruik daadwerkelijk leidt tot betere studieresultaten. Ook Margie Jantti van Wollongong kon mij hier verder niets nieuws over melden.

Terug in York (York 1)

metenEens in de twee jaar vindt het Northumbria International Conference on Performance Measurement in Libraries and Information Services plaats. Dit keer was het de tiende keer en het speelde zich voor de tweede keer af in York. Twee jaar geleden zaten we op de campus van de universiteit, op een klein studentenkamertje. Ik schreef toen over mijn ervaringen in een aantal blogs, te beginnen bij mijn ervaringen in de “cel”. Dit keer werden we ontvangen in een prachtig Victoriaans hotel. Het hotel ligt tegen het station aan; slapen met het raam open (warmte) was als slapen op het perron.
De 165 deelnemers aan het congres komen van over de hele wereld, met een nadruk op de Engelstalige landen. Er waren zelfs zo’n 10 Chinezen, maar die waren na de eerste dag spoorloos.  Vorige keer was ik de enige Nederlander, dit keer bestond de Nederlandse delegatie uit vier deelnemers, waarvan twee een presentatie hielden (Anne van Weerden van de Universiteit Utrecht en Marjolein Oomes van het SIOB). Een teleurstellend aantal als je de kwaliteit van dit congres in ogenschouw neemt. Veel deelnemers kennen elkaar overigens van voorgaande congressen of van het eveneens tweejaarlijkse congres dat op de “andere” jaren in de VS wordt gehouden.
De titel van het congres komt niet helemaal overeen met de inhoud, misschien komt het daardoor dat Nederlanders er niet voor warm lopen. Het woord Northumbria is misleidend, het zou zomaar een klein lokaal congres kunnen lijken. Dat is het dus in het geheel niet. Verder gaat het ook niet meer over bibliotheekstatistiek maar vooral over value en impact,  kwaliteitsverbetering en klantgericht werken. Thema’s die toch menigeen aanspreken. Het uitgebreide programma is te vinden op de website van het congres. 
Ik heb een groot aantal presentaties bijgewoond. Teveel om allemaal te bloggen, maar in de volgende posts zal ik proberen er een aantal samen te vatten.

Presteren studenten die naar bibliotheek gaan beter?

Jlearninguichende tweets en nieuwsberichten: “Studenten die naar de bibliotheek gaan presteren beter“. Wie de moeite nam om het oorspronkelijke artikel eens goed te lezen kwam toch een beetje van een koude kermis thuis. Op de eerste plaats wordt er gerept over gegevens die in 2010 worden opgeleverd. Het is dan ook een ouder artikel dat (opnieuw) is gepubliceerd. Het verscheen eerder in deze congresbundel en als publicatie van de University of Wollongong zelf.
Op de tweede plaats zijn de resultaten nou niet bepaald erg overtuigend. Er worden veel woorden gebruikt om uiteindelijk met een magere conclusie te komen: er lijkt een statistische verband te bestaan tussen bibliotheekbezoek en studiesucces.  De Australiers maken helaas niet het voorbehoud dat ze zouden moeten maken: er is geen oorzaak-gevolg relatie gevonden, er is geen causaal verband. Zo zijn er ongetwijfeld studenten die nooit een bibliotheek bezoeken en tóch glansrijk slagen.
Een zelfde soort onderzoek is uitgevoerd in de UK, door een samenwerkingsverband van een aantal universiteiten, onder leiding van Graham Stone. Zij documenteerden hun onderzoek zorgvuldig op hun weblog Library Impact Data Project.  Zij maken wel netjes het voorbehoud dat er weliswaar een verband bestaat tussen bibliotheekgebruik en studiesucces, maar dat dit geen oorzaak-gevolg redenering is.
Beide onderzoeken werden gepresenteerd op het 9th Northumbria International Conference on Performance Measurement in Libraries and Information Services in York, 2011. Ik bezocht dat congres en schreef er eerder over op dit blog. Dit jaar zal Wollongong op dat congres een keynote verzorgen en ook Graham Stone treedt op. Ik zal er ook weer bij zijn en zal er verslag van doen, want ondanks mijn bezwaren worden hier wél pogingen ondernomen om de impact van bibliotheken op studiesucces te concretiseren en dat is te prijzen.

Impact van bibliotheken: Oakleaf op LILAC 2012

In een sprankelende keynote van Megan Oakleaf werden we met de neus op de feiten gedrukt. Een bibliotheek heeft toegevoegde waarde als zij iets bijdraagt aan het behalen van de doelen van de moederorganisatie. In het onderwijs is dat onder andere “het leren van studenten”. We kunnen als bibliotheken nog helemaal niet aantonen dat wij daaraan bijdragen, want we kennen de feiten niet.  Er komen wel steeds meer bewijzen *) voor de positieve correlatie tussen bibliotheekgebruik en het behalen van hogere cijfers, maar daarmee is niet het bewijs geleverd dat de bibliotheek ook daadwerkelijk bijdraagt aan het leren, onderwijs en studiesucces. In een veelbesproken artikel licht Oakleaf deze stelling nader toe: Are they learning? Are we?. We verzamelen domweg niet genoeg gegevens hierover en als we dat wel doen, dan doen we het niet systematisch. En zoals Oakleaf Deming citeerde: “In God we trust, all others must bring data”. Aan de hand van het bijgevoegde schema kan je deze zaken wel handig in kaart brengen.

*)
Huddersfield: Does library use affect student attainment? A preliminary report on the Library Impact Data Project
Wollongong: Measuring the value of library resources and student academic performance through relational datasets
Hongkong: Uncovering Meaningful Correlation between Student Academic Performance and Library Material Usage