Categorie archief: Impact measurement

Performance measurment Oxford (3)

user_experience_sarah_weiseEen belangrijk onderdeel van het congres in Oxford waren workshops en presentaties over UX (user experience). Dit is toch wel een trend te noemen in deze tak van sport: het onderzoeken van de ervaringen van de gebruiker door middel van technieken die deels uit het ICT domein komen (user interfaces testen) en deels uit de antropologie. Beide domeinen kwamen aan bod. De ook in Nederland bekende UX-goeroe Andy Priestner was niet aanwezig, maar twee andere bekende onderzoekers wel: Andrew Asher en Donna Lanclos.
Aan wat voor technieken moeten je denken? Bijvoorbeeld aan dagboeken, die volgens een bepaalde structuur en vraagstelling gevuld worden, of aan liefdesbrieven aan de bibliotheek, of juist “breaking-up-letters”. Ook het meelopen met een student (shadowing), observaties en eyetracking worden toegepast. Wat levert dat zoal op?

Frankie Wilson, Bodleian Libraries, onderzocht een groep PhD’s. Of eigenlijk maakte zij ze co-researcher in haar onderzoek, door ze ook te betrekken bij haar onderzoeksmethodiek die vooral gebaseerd was op dagboeken. Wat bleek: de PhD’s, die vanuit de hele wereld naar Oxford komen, voelen zich vooral eenzaam en verlaten. Ze hebben behoefte aan een verwelkomende community. Vanuit de bibliotheek hebben ze vooral behoefte aan tijdbesparende tips, zoals het gebruiken van citatiesoftware.

De MacOdrum Library deed een onderzoek naar de usability van LibGuides. Hierbij bleek dat deze vaak veel te veel informatie bevatten. De studenten willen vooral (max 5) belangrijke databases, informatie over citeren en een contactadres voor een vakspecialist. Qua lay-out werd gekozen voor tabs in “accordeons” in plaats van  tabs bovenaan of in het linkerframe.

In Harvard hebben ze een heel lab om bibliotheek user interaces te bestuderen. Mooie quote “A user interface is like a joke. If you have to explain it, it’s not that good”.

Heel bijzonder was een workshop over etnografie, verzorgd door Ashner en Lanclos. We werden in kleine groepjes naar buiten gestuurd, waar we gestructureerd observaties moesten doen. Denk aan de activiteiten die je ziet, de middelen die mensen daarbij gebruiken, wat de looppatronen zijn en hoe mensen interacteren met elkaar en de omgeving. Wij gingen naar een grasveldje bij een museum, waar we in 15 minuten een heel avontuur observeerden. Eerst zagen we mensen vooral foto’s maken met hun mobieltje, lekker op bankjes zitten met eten, en wat lezen. Opeens klonk er gekrijs. Er stond een hoge boom, met daaromheen een hoog hek. Een klein meisje was tussen de spijen van het hek door gekropen en kun niet meer terug. Haar moeder sjorde nog, maar het koppie van het kindje bleef klem zitten. Paniek! En wat moet je dan doen als observant? We zijn bibliotheekmensen, hulpvaardigheid zit ons in het bloed. Dus gingen we toch maar naar binnen om een sleutel van een slot te halen, dat op het hek zat. Jammer genoeg werkte het slot niet, maar het meisje ontsnapte toch nog op een Houdini-achtige wijze uit haar kooi. Einde verhaal.
knel

Het klinkt allemaal heel banaal, maar als je hoorde met hoeveel informatie alle groepjes terugkwamen na 15 minuten observeren, dan is dit een heel goede manier om in korte tijd veel informatie boven water te halen.

Voor wie alles wil weten over de antropologische methode verwijs ik naar de ERIAL toolkit, die al wat ouder is, maar nog steeds relevant en een presentatie uit Cambridge, waar UX aan de orde van de dag lijkt te zijn.  Of lees het tijdschrift Weave. 

Performance measurement Oxford (2)

LibQUALlogo_PNGThe Libqual Sessions. 

Het congres is altijd een reünie voor de LibQual-community, waar wij in Leiden intussen ook deel van uitmaken. We deden mee aan workshop voor LibQualers. De vraag die gesteld werd was wat onze ervaringen waren met de verschillende fasen uit het LibQual proces. Op de een of andere manier kwam er alleen maar gemopper op de (onvermijdelijke) post-its terecht. Herkenbare opmerkingen:

  • De websurvey ziet er lelijk en onaantrekkelijk uit
  • Sommige vragen zijn onbegrijpelijk
  • Het gaat vooral over traditionele bibliotheekdiensten
  • Er zit een stevige USA-bias in de configuratie van de enquete
  • De methodiek is lastig uit te leggen

Dit allemaal genoemd hebbend, kwamen er enkele deelnemers met alternatieven, zoals MISO (Amerikaans colleges) en Insync (Australisch) http://educationandlibraries.insyncsurveys.com.au/our-clients/universities/
Nadeel van het overstappen naar een ander survey instrument is dat je de trends uit je enquêtes van de voorgaande jaren kwijt bent. En die zijn juist interessant. Men verwacht dat LibQual op korte termijn aanpassingen zal gaan doen.
Handige tip die we opvingen: gebruik NVIVO analyse software om de open comments te analyseren.

Naast de workshop werden er ook een aantal presentaties over LibQual gehouden. Spectaculair waren de resultaten van LibQual in de University of Limerick. In 2007 begonnen zij met LibQual: hun radar charts waren helemaal rood. Ze hebben een heel traject aan verbeteringen opgezet, variërend van self-service tot de inrichting van een post-graduate reading room. Ook hebben ze een campagne “Every seat counts” opgezet, waarbij studenten de spullen van mensen die te lang weg zijn, mogen opruimen. Gevolg van dit alles: het rood is verdwenen uit de radars!

Jacky Belanger (University of Washington) vertegenwoordigt een van de bibliotheek die heel bewust géén gebruik maken van LibQual, maar al jarenlang een eigen instrument gebruiken. Haar presentatie handelde over de moeilijkheden die je ondervindt als je resultaten van gebruikersonderzoek wilt omzetten naar verbeteracties. Soms kan dat helemaal niet (bv uitbreiden van het aantal werkplekken) en soms gelooft de bibliotheekstaf de resultaten van het onderzoek gewoon niet. De bibliotheekcultuur is bovendien niet altijd even veranderingsgezind. Wat interessant is, is dat men de strategische planning van de bibliotheek heeft afgestemd op de resultaten van het onderzoek.

Performance measurement Oxford (1)

kebleVorige week was ik bij het congres 12e International Conference on Performance Measurement in Libraries, dit keer in Oxford.

Voor mij was het de vierde keer dat ik dit congres bijwoonde. Opnieuw was het een erg goed congres, met veel interessante sprekers en een levendige assessment community. Het congres duurde 3 dagen, volgepropt met lezingen en workshops. Op de 4e dag volgde ik een 7 uur lange workshop over datavisualisatie mbv Tableau.

Naast het interessante congres is het ook erg leuk om in Oxford te zijn. We sliepen in Keble College, waar het congres ook plaatsvond. Een 19e eeuws gebouw, typisch een engels college, met een prachtig grasveld waarom heen de collegegebouwen staan. De eetzaal was een belevenis op zichzelf!
eetzaal
Het voert te ver om iets over alle presentaties te vermelden, daarom hierbij een selectie van de belangrijkste bevindingen.

De vorige keren gingen veel presentaties over de relatie tussen bibliotheekgebruik en studiesucces. Graham Stone van de University of Huddersfield was één van de eersten die hierover in 2013 rapporteerde. Ik schreef daar toen over. Inmiddels zijn er veel meer van dit soort studies gedaan en keer op keer blijkt dat er een correlatie is tussen hoge cijfers en frequent bibliotheekgebruik. Er is nu een stroming in de VS die er vanuit gaat dat dit voldoende bewijs is voor een causaal verband: doordat studenten de bibliotheek veel gebruiken halen ze beter cijfers (in de bibliotheek word je slimmer). Gelukkig zijn er ook nog anderen, die hier tegen in gaan. Zoals Andrew Asher, een van de onderzoekers van het ERIAL project, waarover later meer, twitterde: “Pretty sure the relationship is high achieving students tend to use the library, not library use produces better grades”

Bewijs geleverd!

effectWe zoeken al jaren naar bewijs dat we als bibliotheken een positieve invloed hebben op studieresultaten. Ik schreef daar al eerder over. Tot nu toe was het bewijs mager en gebaseerd op een relatief kleine onderzoekspopulatie. Maar enkele jaren terug is er door de ACRL een driejarig programma gestart, waarin bibliotheken aangemoedigd worden om onderzoek uit te voeren. In totaal doen ruim 200 Amerikaans hoger onderwijs-bibliotheken hieraan mee. Deze week verscheen het tweede rapport van dit programma, waarin de resultaten van 74 onderzoeken gebundeld zijn. Dat levert bij elkaar steeds meer bewijs op voor de positieve invloed die wij met onze bibliotheken en -diensten hebben op individuele studieresultaten en universitaire scores in het algemeen. Zo stelt het rapport:

  1. Beginnende studenten hebben baat bij informatievaardigheidscursussen
  2. Bibliotheekgebruik verhoogt individuele studieresultaten
  3. Samenwerking tussen bibliotheek en andere universitaire diensten (schrijfcentrum, academic skills) hebben positieve invloed op studiesucces, studieresultaten
  4. Informatievaardigheidscursussen versterken algemene studievaardigheden en academische vaardigheden, zoals probleemoplossend en kritisch denken

Het eerste rapport verscheen in 2015. Daarin werd nog niet zo sterk als nu de bijdrage van de bibliotheek aan onderwijs en leren aangetoond.

Edinburgh (5) : Outcomes, Impact & Value

directional-valueBig Data: de bibliotheek én het onderwijs doen ook mee in trend om data te verzamelen en verbanden te ontdekken. Een belangrijke exponent hiervan, Learning analytics, heeft inmiddels op veel plekken voet aan de grond gekregen. In Wollongong, de bakermat van de fameuze Library Cube van Margie Jantti, wordt nu geprobeerd om de gegevens uit de Cube (over bibliotheekgebruik) te combineren met data die Learning Analytics oplevert. Het is een logische stap, die ertoe kan leiden dat het effect van bibliotheek op studiesucces beter dan nu kan worden aangetoond. Wordt ongetwijfeld vervolgd.
In de UK wordt ook onderzoek gedaan naar het resultaat (outcome) van bibliotheekdiensten. Een voor mij nieuw meetinstrument dat hiervoor wordt ingezet is de AMOSSHE Value & Impact tookit. Dit instrument richt zich op student support en het effect daarvan op studenten en/of hun leren. Het blijkt dat het ook in de bibliotheek een bruikbare tool is. Zo gebruikt de University of Sunderland het om te meten of hun diensten bewijsbaar effect hebben. Ze hebben daar een interessante benadering: bij ieder project of nieuwe dienst wordt vooraf bepaald wat de gewenste outcome / resultaat van deze dienst zou moeten zijn. Dat betekent dat ze nagaan wat de afnemer van de dienst eraan moet hebben. Dus niet of deze tevreden is met de dienst, maar of het een effect heeft gehad. Achteraf wordt dit gecheckt met behulp van het Amosshe instrument. Het werken met outcomes bij het opzetten van diensten is ook een goed hulpmiddel bij de marketing ervan. Je kunt op die manier veel beter overbrengen wat een gebruiker daadwerkelijk hééft aan het gebruiken van de dienst. In marketing zijn ze dan ook bijzonder bedreven in Sunderland. Kijk maar eens naar hun 7 Steps Marketing toolkit.

Dit is mijn laatste blog over het congres in Edinburgh. Over twee jaar wordt het congres naar verwachting weer ergens in UK georganiseerd. Het is meestal midden in de Nederlandse zomervakantie, maar het is werkelijk de moeite waard om het eens te bezoeken!

Edinburgh (1): congres in een tent

dynamic earthVan 20 tot en met 22 juli vond mijn favoriete congres met de lange naam weer plaats. De 11th Northumbria International Conference on Performance Measurement in Libraries and Information Services werd deze keer in Edinburgh (in het futuristisch ogende Our Dynamic Earth museum) gehouden.  Ik geef toe, het klinkt saai, maar het was een hartstikke goed en interessant congres over allerlei aspecten rondom kwaliteitszorg in bibliotheken. Het congres wordt georganiseerd door mensen uit York, dit keer in samenwerking met mensen van de National Library of Scotland. Het is een tweejaarlijks congres, met een parallel congres in de andere jaren in de VS. Het is een internationaal gezelschap: uit UK, VS, Australië en Zuid-Afrika zijn er altijd vrij grote groepen deelnemers. Daarnaast zijn er uit een groot aantal landen enkele deelnemers, zoals uit Nederland, dit jaar vertegenwoordigd door 4 mensen.

Ging het twee jaar geleden vooral over het meten van impact, dit jaar waren er meerdere interessante thema’s. Zo is de trend van antropologische onderzoeksmethoden ook dit congres binnen gedrongen onder de noemer “participatory design”. Een ander interessant cluster presentaties behandelde de “culture of assessment”. Lastig te vertalen, maar het gaat over het kwaliteitsbewustzijn van de hele organisatie, van alle medewerkers in de bibliotheek en de wijze waarop je dat kunt meten en beïnvloeden. Het in kaart brengen van de relaties die je als bibliotheek(medewerker) hebt met je “community” is een andere uitdaging waarover gesproken werd. Engagement was het codewoord van een groot aantal bijdragen. Uiteraard waren er ook weer oude vertrouwde onderwerpen: het meten van de invloed van de bibliotheek op studiesucces is onder invloed van learning analytics een nieuwe fase ingegaan. En uiteraard was de LibQual-club weer in volle glorie aanwezig en werden er vele “good practices” uitgewisseld. In een aantal blogs zal ik de komende dagen mijn bevindingen van dit congres vastleggen. Daarnaast is het ook wel belangrijk om te vermelden dat Edinburgh een fantastische congresstad is, dat er toevallig een heel leuk jazz- en bluesfestival was en dat het conference dinner in een heel bijzondere historische bibliotheek werd opgediend. Voor de broodnodige ontspanning ná al die presentaties was dus ook gezorgd.

Wat is het je waard?

ROIplaatjeJe steekt er geld in, maar levert dat wat op? En wat dan? Is dat uit te drukken in geld? Een onderzoeksgroep rondom Carol Tenopir en Bruce Kingma denkt van wel. In elk geval doen zij verwoede pogingen om in kaart te brengen wat de Return on Investment (ROI) van universiteitsbibliotheken is. Het begon allemaal in 2008 bij de University of Illinois, waar werd uitgezocht of je aan de hand van de inkomsten uit Grants (subsidies) kon nagaan wat de bijdrage daaraan was geweest vanuit de bibliotheek. Daartoe telde men citaties in het onderzoeksvoorstel, waarbij men aannam dat deze citaties uit bibliotheekbronnen afkomstig waren. Via een ingewikkelde berekening stelde men vast dat één dollar die geïnvesteerd was in de bibliotheek $ 4,38 opleverde.
Dit onderzoek is bekend geworden onder de titel Lib-Value Phase I.
Phase II deed ditzelfde onderzoek bij 8 bibliotheken, verspreid over een aantal landen. Dat bleek veel lastiger en leidde niet tot een eenduidig resultaat. Pikant detail: beide onderzoeken werden gesponsord door Elsevier.
In het meest recente nummer van College and Research Libraries is het verslag te vinden van Phase III. Hierin is het onderzoek op een andere wijze voortgezet bij de Syracuse University Library. In deze benadering heeft men via een enquete een aantal gegevens boven water gehaald: hoeveel bibliotheekbronnen heb je bij je laatste bibliotheekbezoek én bij het laatste digitale bezoek gebruikt, hoeveel bibliotheekbronnen heb je gedurende de laatste 30 dagen gebruikt en hoeveel zou je bereid zijn te betalen (in tijd en geld) om deze bronnen elders fysiek of digitaal op te halen. De onderzoeksgroep bestond uit 222 docenten en 782 studenten. Op de onderzoeksresultaten werd een berekening losgelaten. Hieruit blijkt dat iedere dollar die wordt uitgegeven voor de bibliotheek een waarde vertegenwoordigt van $4.13 voor studenten en onderzoekers.
Nu lijkt dit allemaal exacte wetenschap, maar dat is het natuurlijk niet. Het is voor een groot gedeelte gebaseerd op nattevingerwerk, maar het geeft wel een positief beeld van de waarde die de bibliotheek heeft voor onze klanten.

 

Impact van bibliotheken: ISO 16439:2014

metenWe hebben er lang op gewacht, maar nu is ie er eindelijk: de ISO norm Methods and procedures for assessing the impact of libraries. Roswita Poll, projectleider, vertelde al 3 jaar geleden dat deze norm ontwikkeld werd, maar dat het ingewikkelde materie en een traag proces was. Zo’ n norm doorstaat heel wat reviews voordat ie wordt vastgesteld.

Deze norm is de derde in een rijtje normen die vastleggen hoe je prestaties kunt meten in bibliotheken:

ISO 2789:2013 International library statistics
ISO 11620:2014 Library performance indicators

De norm is minder normatief dan je zou verwachten. Geeft 11620 gewoon recht voor zijn raap aan hoe je berekeningen moet maken, het meten van impact is heel wat minder direct. Feitelijk geeft deze norm aan welke data je zou kunnen gebruiken om de impact van de bibliotheek af te leiden. Gelukkig begint de norm met een hele riedel definities, zodat we ook kunnen lezen wat impact in dit verband betekent: Difference or change in an individual or group resulting from the contact with library services.
Impact is onderdeel van de trits input (geld, personeel, collectie..), output (uitleningen, downloads, beantwoorde vragen), outcome (aantal gebruikers, klanttevredenheid), impact, value (belang  dat stakeholders hechten aan de bibliotheek).

Het rapport leest niet lekker weg, maar geeft wel een mooi overzicht van de data die je zou kunnen gebruiken om impact aan te tonen. Veel van die data heb je als bibliotheek al in huis, zoals bezoekersaantallen of uitleenstatistieken. Maar je kunt ook nieuw onderzoek doen en de norm geeft allerlei handvatten voor verschillende methodieken. In dat kader komt ook gebruikersonderzoek uitgebreid aan de orde.
Wat de norm bovendien interessant maakt is dat het een overzicht geeft van recente literatuur over de besproken onderwerpen.
Misschien klinkt het allemaal taai en saai, maar in tijden van bezuinigingen is het nooit weg om aan te tonen dat de bibliotheek er toe doet.

De norm is via NEN  te koop voor het astronomische bedrag van € 176,-.

Waardeloos?! (York 5)

directional-valueWat is de bijdrage van de bibliotheek aan de missie van de universiteit? Dat is de vraag die centraal moet staan als we het hebben over “value“. Traditioneel hielden bibliotheken zich vooral bezig met het in kaart brengen van de eigen prestaties: hoe groot is de collectie, hoe vaak wordt die geraadpleegd, wat is de doorloopsnelheid van het catalogiseren etc. Dat zijn intern gerichte indicatoren. Niet onbelangrijk, maar als het om value gaat zijn het niet de meest voor de hand liggende grootheden. Dan komen er andere vragen op.  Want hoe verbind je de doelen van de universiteit met de producten en diensten die de bibliotheek levert. En hoe maak je dat vervolgens meetbaar? In mijn vorige post schreef ik al over impact, het (vermeende) effect van bibliotheekgebruik op studieresultaat. Als je dat écht kunt meten, dan heb je één van de indicatoren die value operationaliseren te pakken. Vooralsnog wordt er nog flink geworsteld om dit onderwerp systematisch aan te pakken. De benadering vanuit de financiële hoek (Return on Investment)  is langzamerhand verlaten. Vorig congres sprak Carol Tenopir nog over verschillende ROI benaderingen, maar daar heb ik nu niets meer over gehoord. Het project van Tenopir gaat overigens nog steeds voort en het project LibValue is breder dan alleen ROI; je kunt hen volgen op hun website.

Het belangrijkste overzicht van alles wat met value te maken heeft is van de hand van de Megan Oakleaf, het Value of Academic Libraries Report (ACRL, 2010). In het kielzog van dit rapport verscheen ook een toolkit met allerlei handige links.

Een team van de University of Loughborough onderzocht wat de resultaten waren van een 8-tal value-projecten in UK, de VS en Scandinavië. Nogal teleurstellend: …no systematic evidence of the value of academic libraries for teaching and research staff. Behoorlijk waardeloos eigenlijk, in allerlei opzichten. Overigens geven ze aan dat dit vermoedelijk mede veroorzaakt wordt door het gegeven dat de wetenschappers en docenten té weinig bekend waren met de diensten van de bibliotheek. Beter communiceren dus! En het bewijst ook dat de methodieken om value aan te tonen nog niet voldoende ontwikkeld zijn (hoop ik).

De University of Washington laat op haar website zien wat volgens hen de bijdrage is van de bibliotheek aan onderwijs en onderzoek.

Een actuele bibliografie over dit onderwerp is te vinden op de website van Tenopir.

 

Impactonderzoek (York 4)

effectEen belangrijk thema van het congres is “value and impact“. Lastig te vertalen; impact is effect, maar wat te doen met value? Je kunt dat letterlijk vertalen met “waarde”, maar dat heeft zo’n financiële bijklank.  En bij “meerwaarde” lijkt het dat het iets extra’s is, waar je ook zonder zou kunnen. Als je ziet hoe het gebruikt wordt in deze context dan vertaal ik het liever als “Bijdrage”. Wat en hoe draagt de bibliotheek bij aan de verwezenlijking van de doelen van de universiteit? Dat is de kern waar het om draait. Feitelijk komen hierbij performance indicators, statistieken van bibliotheek én universiteit en gebruikersonderzoeken samen.

Laten we het onderwerp even voor het gemak splitsen. Ik begin met impactstudies. Het gaat dan vaak om onderzoek naar het effect van bibliotheekgebruik op studiesucces (hoogte van de cijfers, studievertraging, uitval). De bijdrage die de bibliotheek levert aan leren. Ik heb er al eens over geschreven maar ik som ze hier de bekendste op:

Library Data and Study Success, University of Minnisota
Library Cube van de University of Wollongong (recent nog in het nieuws, zie mijn blogje hierover)
Wong, Shun Han Rebekah and T.D. Webb (2011) “Uncovering Meaningful Correlation between Student Academic Performance and Library Material Usage.” College and Research Libraries , july
Library Impact Data Project van een aantal Britse universiteiten, onder andere de University of Huddersfield. Dit project is inmiddels afgesloten maar de resultaten worden verder gebracht in nieuw project waar onder andere JISC bij betrokken is: LAMPThe project will be developing a prototype shared library analytics service for UK academic libraries. Initially this is being envisioned as a kind of data dashboard, bringing together disparate data sets and visualising them in an attractive and meaningful way. Dat zou je in Nederland toch ook willen? UKB, doe je best!

Er zijn ook andere impactonderzoeken, bijvoorbeeld naar het Effect van liaison librarians, University of Loughborough. Veel meer projecten en onderzoeken zijn te vinden in een bibliografie samengesteld door Roswita Poll. Zij werkt ook aan een ISO norm op dit gebied (al jaren, naar verwachting is het project begin 2014 afgerond).

Jammer genoeg is er nog steeds geen onderzoek waaruit blijkt dat bibliotheekgebruik daadwerkelijk leidt tot betere studieresultaten. Ook Margie Jantti van Wollongong kon mij hier verder niets nieuws over melden.