Impactonderzoek (York 4)

effectEen belangrijk thema van het congres is “value and impact“. Lastig te vertalen; impact is effect, maar wat te doen met value? Je kunt dat letterlijk vertalen met “waarde”, maar dat heeft zo’n financiële bijklank.  En bij “meerwaarde” lijkt het dat het iets extra’s is, waar je ook zonder zou kunnen. Als je ziet hoe het gebruikt wordt in deze context dan vertaal ik het liever als “Bijdrage”. Wat en hoe draagt de bibliotheek bij aan de verwezenlijking van de doelen van de universiteit? Dat is de kern waar het om draait. Feitelijk komen hierbij performance indicators, statistieken van bibliotheek én universiteit en gebruikersonderzoeken samen.

Laten we het onderwerp even voor het gemak splitsen. Ik begin met impactstudies. Het gaat dan vaak om onderzoek naar het effect van bibliotheekgebruik op studiesucces (hoogte van de cijfers, studievertraging, uitval). De bijdrage die de bibliotheek levert aan leren. Ik heb er al eens over geschreven maar ik som ze hier de bekendste op:

Library Data and Study Success, University of Minnisota
Library Cube van de University of Wollongong (recent nog in het nieuws, zie mijn blogje hierover)
Wong, Shun Han Rebekah and T.D. Webb (2011) “Uncovering Meaningful Correlation between Student Academic Performance and Library Material Usage.” College and Research Libraries , july
Library Impact Data Project van een aantal Britse universiteiten, onder andere de University of Huddersfield. Dit project is inmiddels afgesloten maar de resultaten worden verder gebracht in nieuw project waar onder andere JISC bij betrokken is: LAMPThe project will be developing a prototype shared library analytics service for UK academic libraries. Initially this is being envisioned as a kind of data dashboard, bringing together disparate data sets and visualising them in an attractive and meaningful way. Dat zou je in Nederland toch ook willen? UKB, doe je best!

Er zijn ook andere impactonderzoeken, bijvoorbeeld naar het Effect van liaison librarians, University of Loughborough. Veel meer projecten en onderzoeken zijn te vinden in een bibliografie samengesteld door Roswita Poll. Zij werkt ook aan een ISO norm op dit gebied (al jaren, naar verwachting is het project begin 2014 afgerond).

Jammer genoeg is er nog steeds geen onderzoek waaruit blijkt dat bibliotheekgebruik daadwerkelijk leidt tot betere studieresultaten. Ook Margie Jantti van Wollongong kon mij hier verder niets nieuws over melden.

Kwaliteitssystemen (York 3)

klantKwaliteitsmodellen kwamen ook langs op het congres in York. Kenmerkend voor al deze presentaties was de focus op de klant.
De bibliotheek van de Universiteit van Sunderland heeft haar klanten actief betrokken bij het opstellen van de kwaliteitscriteria die zij hanteert. Zij hebben deze normen vertaald in klantgerichte “quality promises” en die gepubliceerd op hun website. Dat hebben zij gedaan met behulp van een 7 stappen marketingstrategie die in Sunderland is uitgedacht: How do you like your eggs in the morning? Dit heeft geleid tot een aantal vrolijke campagnes op een groot aantal sociale media. De bibliotheek zoekt voortdurend actief het gesprek met haar klanten en gebruikt daarvoor allerhande methoden. Op die manier proberen zij de vraag van de klant te verbinden met het aanbod van de bibliotheek. De presentatie van Sunderland staat al online.
Ook andere, bij ons wat minder bekende, kwaliteitssystemen stellen de klant centraal. Het bleek dat verschillende bibliotheken werken met het Customer Service Excellence methode. Een belangrijk criterium in dit model is de mate van klantgerichtheid van je organisatie. Je kunt een certificaat krijgen, vergelijkbaar met een ISO certificering. De methode doet denken aan de EFQM methodiek, waarbij je jouw organisatie kunt inschalen ten aanzien van het bereikte niveau van kwaliteitsmanagement.
Een ander instrument waarmee je jouw bibliotheek kunt inschalen wordt ontwikkeld door Frankie Wilson van de Bodleian Library. Haar self assessment vragenlijst is gebaseerd op het Quality Maturity Model en richt zich vooral op de cultuur van de organisatie en de wijze waarop de focus op de klant wordt vormgegeven. De vragen die zij als voorbeeld voorlegde zorgden voor veel hilariteit in de zaal. Het invullen van die vragenlijst (wordt binnenkort gratis beschikbaar gesteld) zal niet snel ervaren worden als een straf. Het invullen zal bovendien leiden tot een groter klantbewustzijn van de medewerkers.

Lijpkwal (York 2)

libqual plaatjeDe LibQual gemeenschap is goed vertegenwoordigd op het congres. Het is een hechte club, men kent elkaar al jaren en citeert veelvuldig uit elkaars werk. Dat roept soms ergernis op. Ook dit jaar begon het congres met een “workshop” van LibQual (ze zeggen zelf lijpkwal). Eigenlijk helemaal geen workshop, maar twee uitvoerige presentaties en een vragenrondje. Echter, nu wij in Leiden ook “into” LibQual zijn sprak deze ochtend me toch wel aan. Ook in andere presentaties kwam LibQual nog al eens ter sprake, omdat het door veel Engelse en Amerikaanse bibliotheken wordt gebruikt ten behoeve van gebruikersonderzoek. Ik weet het, er is veel over te zeggen, het is niet allemaal rozengeur en maneschijn en het is in ieder geval niet het enige middel dat je moet gebruiken om de ervaringen van klanten in kaart te brengen, maar het levert toch veel kwalitatieve informatie op waar je wat mee kunt doen. In Leiden hielden we eind 2012 het LibQual Lite survey en hadden we een respons van bijna 20%, inclusief ruim 1400 open commentaren. Een aantal verbeteringen is reeds in gang gezet en andere wat grotere projecten volgen nog. Zoals een aantal sprekers benadrukten: je kunt LibQual gebruiken om veranderingen teweeg te brengen, verbeterprocessen te starten en kwaliteitsbewustzijn van medewerkers te vergroten.
Een Utrechtse collega, Anne van Weerden, presenteerde een statistisch doorwrocht betoog, met voor mij als belangrijkste conclusie dat respondenten die ontevreden zijn over de dienstverlening door medewerkers ook ontevreden scoren op alle andere aspecten van het survey. Het vergroten van de tevredenheid over de directe dienstverlening biedt dus de kans om de tevredenheid in het algemeen te vergroten.

In Libqual termen ziet de radar er dan zo uit:
LibQual van Weerden

Nog een paar andere observaties:
Analyse van alle LibQual-surveys over de jaren heen maakt duidelijk dat de tevredenheid van wetenschappers en docenten over de tijdschriftcollecties (paper en e-journals) (IC8) dalende is. In Leiden schrokken we daar van, maar het blijkt bij alle deelnemers het geval te zijn. Iedereen was het erover eens; dat gaat nog erger worden met alle bezuinigingen én de stijgende abonnementskosten. Het managen van de verwachtingen van onze klanten is ongeveer het enige wat we eraan kunnen doen.

Een analyse van een aantal bibliotheken die de afgelopen jaren een vooruitgang hebben geboekt op het gebied van “quiet space for individual work” (LP2) bracht aan het licht dat deze bibliotheken actief hebben gewerkt aan het geluidsprobleem. Een aantal oplossingen passeerden de revue: zonering van ruimtes, extra groepswerkplekken, en voor mij nieuw: “Noise patrollers”, medewerkers die al ssttt roepend door de ruimtes gaan!

Voor gebruikers van LibQual was er goed nieuws: begin 2014 komt ook de mobiele versie van de survey beschikbaar.

Voor hen die LibQual helemaal niet zien zitten: er is een alternatief instrument: MISO. Het richt zich op zowel de bibliotheek als IT-voorzieningen, wat klanten gemiddeld genomen toch al op één hoop gooien. Ik ken dit niet en zie nog geen Nederlandse deelnemers op hun website. Een recent artikel van Allen en anderen (2013) in Evidence based library & information practice beschrijft trends op basis van samengevoegde resultaten van een groot aantal MISO surveys. Een groot verschil met de trends die door Martha Kyrillidou op basis van een enorme bulk aan LibQual surveys wordt aangegeven is echter niet te vinden. Wel valt me op dat in MISO aangegeven moet worden hoe vaak gebruik gemaakt wordt van bibiotheekwebsite, catalogus en databases. Uit eigen ervaring weet ik dat onze klanten er grote moeite mee hebben om dit onderscheid te maken, zeker nu de discovery tools het onderscheid tussen catalogus en databases doen vervagen.

Terug in York (York 1)

metenEens in de twee jaar vindt het Northumbria International Conference on Performance Measurement in Libraries and Information Services plaats. Dit keer was het de tiende keer en het speelde zich voor de tweede keer af in York. Twee jaar geleden zaten we op de campus van de universiteit, op een klein studentenkamertje. Ik schreef toen over mijn ervaringen in een aantal blogs, te beginnen bij mijn ervaringen in de “cel”. Dit keer werden we ontvangen in een prachtig Victoriaans hotel. Het hotel ligt tegen het station aan; slapen met het raam open (warmte) was als slapen op het perron.
De 165 deelnemers aan het congres komen van over de hele wereld, met een nadruk op de Engelstalige landen. Er waren zelfs zo’n 10 Chinezen, maar die waren na de eerste dag spoorloos.  Vorige keer was ik de enige Nederlander, dit keer bestond de Nederlandse delegatie uit vier deelnemers, waarvan twee een presentatie hielden (Anne van Weerden van de Universiteit Utrecht en Marjolein Oomes van het SIOB). Een teleurstellend aantal als je de kwaliteit van dit congres in ogenschouw neemt. Veel deelnemers kennen elkaar overigens van voorgaande congressen of van het eveneens tweejaarlijkse congres dat op de “andere” jaren in de VS wordt gehouden.
De titel van het congres komt niet helemaal overeen met de inhoud, misschien komt het daardoor dat Nederlanders er niet voor warm lopen. Het woord Northumbria is misleidend, het zou zomaar een klein lokaal congres kunnen lijken. Dat is het dus in het geheel niet. Verder gaat het ook niet meer over bibliotheekstatistiek maar vooral over value en impact,  kwaliteitsverbetering en klantgericht werken. Thema’s die toch menigeen aanspreken. Het uitgebreide programma is te vinden op de website van het congres. 
Ik heb een groot aantal presentaties bijgewoond. Teveel om allemaal te bloggen, maar in de volgende posts zal ik proberen er een aantal samen te vatten.

Leuke links en ander moois (LIBER 4)

liber-logoTijdens de verschillende lezingen van LIBER 2013 kwamen er soms interessante links langs.

Jan Velterop noemde Utopia.docs, een semantic pdf-viewer. Je kunt er niet alleen pdf’s mee lezen, maar ook vanuit de pdf online bronnen raadplegen, citaties maken, en allerlei andere handige zaken. Binnenkort maar eens uitproberen.

Liz Lyon liet zien wat er bij komt kijken wanneer je je als instelling wilt commiteren aan goed datamanagement. In Bath is daar een uitvoerige “roadmap” voor ontworpen. De onderzoekers in Bath worden op weg geholpen via een prachtige website over datamanagement.

Wanneer je als bibliotheek (een deel) van je aanschaf wilt gaan doen aan de hand van Patron Driven Acquisition (PDA) dan kan je de checklist van de Universiteit van Uppsala (Karen Byström) goed gebruiken.

In Noorwegen hebben een aantal bibliotheken de handen ineen geslagen en een prachtige tutorial over wetenschappelijk publiceren voor PhD-studenten ontwikkeld: PhD on Track. Ook te gebruiken in Nederland, want Engelstalig.

De EU werkt mee aan een reusachtige sterrenwacht, en ziet op termijn een overdosis data op zich af komen. Wat te doen? Een plan maken voor de infrastructuur om al die data (en alle andere die niet van de sterrenwacht komen) te kunnen verwerken: Horizon 2020.

Voor wie alle presentaties wil bekijken: ze staan allemaal al op de congressite.

Focus op onderzoek (LIBER 3)

focusIn een overvolle zaal presenteerde Sheila Corrall een overvol verhaal. Nooit eerder zag ik een powerpoint zo vol met tekst. De tijd leek ook krap, waardoor Sheila steeds sneller ging spreken. Jammer, want ze had een interessant verhaal.
Sheila heeft onderzoek gedaan naar de wijze waarop universiteitsbibliotheken in Groot-Brittannië hun diensten richting onderzoek en onderzoekers organiseren. Ze noemt daarbij een aantal trends:

1.  Onderzoeksportals op websites, direct bereikbaar vanaf de homepages van de bibliotheek.  Ze geeft de volgende voorbeelden:
Research Support Kings’College London
Researcher@library Leeds University

2 . Nieuwe functies, gericht op onderzoeksondersteuning, zoals Research Support Librarian, Liaison Manager (Research), Research Support Leader, Head of Scholarly Communication

3. Speciale ruimtes voor onderzoekers in de bibliotheek. Het blijkt dat onderzoekers liever niet in dezelfde ruimte als studenten verblijven. Daarom worden in toenemende mate afzonderlijke ruimtes voor onderzoekers ingericht, voorzien van specifieke faciliteiten en diensten.
Een mooi voorbeeld is Warwick, waar een ruimte is ontworpen waar onderzoekers elkaar kunnen ontmoeten en waar ook bijeenkomsten worden gehouden.
De University of York heeft een mooie naam bedacht voor de speciale ruimte voor onderzoekers: het Research Hotel.  Je kunt er overigens (nog?) niet blijven slapen;-)

4. Deelname van bibliotheekmedewerkers in formele overlegstructuren rondom onderzoek

Een interessante waarneming van Corral was dat binnen universiteiten bibliotheken het imago hebben opgebouwd zich vooral te richten op dienstverlening aan studenten. Er is de laatste jaren veel geïnvesteerd in prachtige learning spaces en in de ontwikkeling van informatievaardigheidsonderwijs. Dat bibliotheken er ook zijn voor onderzoekers zou wel eens  ondergesneeuwd kunnen zijn.

Nanopublicaties voor dummies (LIBER 2)

gevonden 2Hoe kom je in hemelsnaam op nieuwe ideeën als je tot je pensioen bezig bent om de wetenschappelijke artikelen van je vakgebied te lezen? Dat was één van de vragen die Jan Velterop opriep in zijn keynote op LIBER. Er wordt iedere 30 seconden een nieuw artikel aan PubMed toegevoegd en ook al ben je een superspecialist, dan nog kan je niet alles wat gepubliceerd wordt tot je nemen. Laat staat dus nieuwe ontdekkingen doen waar je de wetenschap mee verder helpt. Nanopublicaties zijn de oplossing voor dit probleem.

Het is een ingewikkeld concept, ik probeer het te beschrijven in mijn eigen woorden.  Het komt erop neer dat je een soort textmining loslaat op die enorme overvloed aan artikelen. Met die techniek zoek je naar zogenaamde triples. Kort gezegd: relaties tussen concepten die je zónder textmining niet had kunnen ontdekken. Aan zo’n relatie voeg je metagegevens toe en klaar is je nanopublicatie.

Schematisch ziet het er zo uit:
schematic_nanopubMet deze techniek worden (vooral) in de biomedische hoek enorme literatuurbestanden gescand op zoek naar nieuwe relaties, die wetenschappers weer op nieuwe sporen kunnen zetten. Het is natuurlijk niet helemaal geautomatiseerd werk, je hebt er wel degelijk hersens voor nodig. Al is het maar om de krenten uit de relatie-pap te vissen.
Op de site nanopub.org kan je voorbeelden vinden van nanopublicaties. Niet dat je daar nu veel wijzer van wordt; het ziet er tamelijk ondoorgrondelijk uit. Gelukkig is het machineleesbaar, dat scheelt een hoop.

Niks te ontdekken met zoeken. LIBER (1)

ZeepbelWeet je nog? De filter bubble. Je hoort er al weer een tijdje weinig over, maar twee jaar geleden was het hot op internet, vooral door een prachtige TED presentatie van Eli Pariser. Hij beschrijft hoe zoekmachines jouw zoekgedrag onthouden en daar bij een volgende zoekactie rekening mee houden.

Nu opeens is ie er weer. En nog wel op het LIBER congres waar ik er niet op bedacht was. In de eerste keynote hield Prof Dr. Strohschneider (directeur van de Deutsche Forschungsgemeinschaft) een pleidooi voor de bibliotheek als een plaats voor wetenschap. Strohschneider is nog wat van de oude stempel en ziet wetenschappelijke ontdekkingen vooral ontstaan doordat wetenschappers nieuwsgierig de boekenplanken besnuffelen en daar onverwachte vondsten doen. Het is volgens hem belangrijk het onverwachte te ontdekken. En juist dat lukt niet met Google. Immers, de ranking van Google is vooral gebaseerd op de meest geraadpleegde resultaten. Oude kennis dus, niks nieuws te ontdekken. Een filter bubble.

De tweede keynote was van Jan Velterop (oa de vader van de big deal en het open access business model). Velterop hield een fantastisch verhaal, vooral over nanopublicaties.  Maar in een van de kantlijnen kwam ook hij uit bij een filter bubble die wetenschap beperkt. Want als je zoektermen in een zoekmachine typt, dan weet je dus eigenlijk al wat je zoekt. Dat beperkt in hoge mate wat je gaat vinden. Een concept dat nog niet bestaat zal er niet uitrollen. Daar zijn dus andere technieken voor nodig, zoals nanopublicaties. Later meer daarover.

Presteren studenten die naar bibliotheek gaan beter?

Jlearninguichende tweets en nieuwsberichten: “Studenten die naar de bibliotheek gaan presteren beter“. Wie de moeite nam om het oorspronkelijke artikel eens goed te lezen kwam toch een beetje van een koude kermis thuis. Op de eerste plaats wordt er gerept over gegevens die in 2010 worden opgeleverd. Het is dan ook een ouder artikel dat (opnieuw) is gepubliceerd. Het verscheen eerder in deze congresbundel en als publicatie van de University of Wollongong zelf.
Op de tweede plaats zijn de resultaten nou niet bepaald erg overtuigend. Er worden veel woorden gebruikt om uiteindelijk met een magere conclusie te komen: er lijkt een statistische verband te bestaan tussen bibliotheekbezoek en studiesucces.  De Australiers maken helaas niet het voorbehoud dat ze zouden moeten maken: er is geen oorzaak-gevolg relatie gevonden, er is geen causaal verband. Zo zijn er ongetwijfeld studenten die nooit een bibliotheek bezoeken en tóch glansrijk slagen.
Een zelfde soort onderzoek is uitgevoerd in de UK, door een samenwerkingsverband van een aantal universiteiten, onder leiding van Graham Stone. Zij documenteerden hun onderzoek zorgvuldig op hun weblog Library Impact Data Project.  Zij maken wel netjes het voorbehoud dat er weliswaar een verband bestaat tussen bibliotheekgebruik en studiesucces, maar dat dit geen oorzaak-gevolg redenering is.
Beide onderzoeken werden gepresenteerd op het 9th Northumbria International Conference on Performance Measurement in Libraries and Information Services in York, 2011. Ik bezocht dat congres en schreef er eerder over op dit blog. Dit jaar zal Wollongong op dat congres een keynote verzorgen en ook Graham Stone treedt op. Ik zal er ook weer bij zijn en zal er verslag van doen, want ondanks mijn bezwaren worden hier wél pogingen ondernomen om de impact van bibliotheken op studiesucces te concretiseren en dat is te prijzen.

Glimlachend blauw met een bordje

LibrarianEen opmerkelijk artikel (in print) in The Journal of Academic Librarianship! Heeft de eerste indruk die een bibliotheekmedewerker wekt invloed op het stellen van vragen aan een bibliotheekbalie? Maakt het uit hoe een bibliotheekmedewerker er uit ziet, zich gedraagt of jong, oud, man, vrouw is. Zijn klanten bij de één meer genegen om vragen te stellen en aarzelen ze bij de andere medewerker?  Die vragen zijn voorgelegd aan de hand van foto’s aan 1015 gebruikers van een universiteitsbibliotheek in de Verenigde Staten. De variabelen die werden gemeten zijn: gezichtsuitdrukking, richting van de blik, soort en kleur van de kleding. Daarnaast werd gemeten of relaties waren tussen deze variabelen en demografische gegevens als sexe, ras, leeftijd. Wat bleek:

- Een glimlach nodigt uit tot het stellen van vragen
- Iemand aankijken nodigt ook uit, en als je ergens anders naar kijkt, dan liever naar een computer dan in een boek zitten te turen
- Een naambordje werkt positief
- Mannen in pak (formele kleding) nodigen méér uit dan vrouwen in formele kleding
- Vrouwen in informele kleding nodigen méér uit dan vrouwen in formele kleding
- Van alle kleuren kleding is blauw heeft blauw de meeste voorkeur, rood schrikt af

Ik zie het niet zo gauw gebeuren dat we op basis van dit Amerikaanse onderzoek in Nederland conclusies gaan trekken ten aanzien van gedrag en kleding van bibliotheekmedewerkers. Maar het is wel goed om je te realiseren dat de eerste indruk die je wekt er werkelijk toe doet, ook in de bibliotheek.

Bonnet, J.L. & McAlexander, B. First impressions and the reference encounter. The influence of affect and clothing on librarian approachability. The Journal of Academic Librarianship (2013) In press. http://dx.doi.org/10.1016/j.acalib.2012.11.025

Volg

Ontvang elk nieuw bericht direct in je inbox.