Categorie archief: Gebruikersonderzoek

Lijpkwal (York 2)

libqual plaatjeDe LibQual gemeenschap is goed vertegenwoordigd op het congres. Het is een hechte club, men kent elkaar al jaren en citeert veelvuldig uit elkaars werk. Dat roept soms ergernis op. Ook dit jaar begon het congres met een “workshop” van LibQual (ze zeggen zelf lijpkwal). Eigenlijk helemaal geen workshop, maar twee uitvoerige presentaties en een vragenrondje. Echter, nu wij in Leiden ook “into” LibQual zijn sprak deze ochtend me toch wel aan. Ook in andere presentaties kwam LibQual nog al eens ter sprake, omdat het door veel Engelse en Amerikaanse bibliotheken wordt gebruikt ten behoeve van gebruikersonderzoek. Ik weet het, er is veel over te zeggen, het is niet allemaal rozengeur en maneschijn en het is in ieder geval niet het enige middel dat je moet gebruiken om de ervaringen van klanten in kaart te brengen, maar het levert toch veel kwalitatieve informatie op waar je wat mee kunt doen. In Leiden hielden we eind 2012 het LibQual Lite survey en hadden we een respons van bijna 20%, inclusief ruim 1400 open commentaren. Een aantal verbeteringen is reeds in gang gezet en andere wat grotere projecten volgen nog. Zoals een aantal sprekers benadrukten: je kunt LibQual gebruiken om veranderingen teweeg te brengen, verbeterprocessen te starten en kwaliteitsbewustzijn van medewerkers te vergroten.
Een Utrechtse collega, Anne van Weerden, presenteerde een statistisch doorwrocht betoog, met voor mij als belangrijkste conclusie dat respondenten die ontevreden zijn over de dienstverlening door medewerkers ook ontevreden scoren op alle andere aspecten van het survey. Het vergroten van de tevredenheid over de directe dienstverlening biedt dus de kans om de tevredenheid in het algemeen te vergroten.

In Libqual termen ziet de radar er dan zo uit:
LibQual van Weerden

Nog een paar andere observaties:
Analyse van alle LibQual-surveys over de jaren heen maakt duidelijk dat de tevredenheid van wetenschappers en docenten over de tijdschriftcollecties (paper en e-journals) (IC8) dalende is. In Leiden schrokken we daar van, maar het blijkt bij alle deelnemers het geval te zijn. Iedereen was het erover eens; dat gaat nog erger worden met alle bezuinigingen én de stijgende abonnementskosten. Het managen van de verwachtingen van onze klanten is ongeveer het enige wat we eraan kunnen doen.

Een analyse van een aantal bibliotheken die de afgelopen jaren een vooruitgang hebben geboekt op het gebied van “quiet space for individual work” (LP2) bracht aan het licht dat deze bibliotheken actief hebben gewerkt aan het geluidsprobleem. Een aantal oplossingen passeerden de revue: zonering van ruimtes, extra groepswerkplekken, en voor mij nieuw: “Noise patrollers”, medewerkers die al ssttt roepend door de ruimtes gaan!

Voor gebruikers van LibQual was er goed nieuws: begin 2014 komt ook de mobiele versie van de survey beschikbaar.

Voor hen die LibQual helemaal niet zien zitten: er is een alternatief instrument: MISO. Het richt zich op zowel de bibliotheek als IT-voorzieningen, wat klanten gemiddeld genomen toch al op één hoop gooien. Ik ken dit niet en zie nog geen Nederlandse deelnemers op hun website. Een recent artikel van Allen en anderen (2013) in Evidence based library & information practice beschrijft trends op basis van samengevoegde resultaten van een groot aantal MISO surveys. Een groot verschil met de trends die door Martha Kyrillidou op basis van een enorme bulk aan LibQual surveys wordt aangegeven is echter niet te vinden. Wel valt me op dat in MISO aangegeven moet worden hoe vaak gebruik gemaakt wordt van bibiotheekwebsite, catalogus en databases. Uit eigen ervaring weet ik dat onze klanten er grote moeite mee hebben om dit onderscheid te maken, zeker nu de discovery tools het onderscheid tussen catalogus en databases doen vervagen.

Mind the gap: gebruikersonderzoek met LibQual+

Er zijn voor- en tegenstanders van LibQual en zelfs de juiste uitspraak (lipkwal versus leipkwal) is onderwerp van discussie. Kortom: het bijwonen van workshops en presentaties over LibQual is een enerverende bezigheid. Dat ondervond ik vorige week op het performance measurement congres in York.
LibQual is een in Amerika ontwikkelde gestandaardiseerde webbased methode voor gebruikersonderzoek in bibliotheken. Medewerkers van de Texas A & M University hebben de methode ontwikkeld, zich daarbij baserend op een in de dienstverlening ontwikkeld model Servqual.
LibQual bestaat uit een vragenlijst (zie onderaan) van 22 items, die te groeperen zijn langs 3 dimensies:
1. De beleving van de dienstverlening
2. Informatie controle
3. Bibliotheek als een plaats.
Deze items zijn jaren geleden geselecteerd op basis van wat gebruikers het meest aangaven als belangrijkste dienst van de bibliotheek.
Aan gebruikers wordt gevraagd (een deel van, Libqual lite) deze vragen te scoren op: wat is het minimum niveau wat je acceptabel vindt; wat is het gewenste niveau; hoe scoort deze bibliotheek?
Als dit is ingevuld ontstaat een interessant beeld, waarbij de ‘gaps’ tussen gewenst niveau en ervaren niveau aangeven op welke gebieden de bibliotheek zich zou kunnen verbeteren. De uitkomsten worden door LibQual in radargraphics weergegeven. Ook is er een vrij commentaarveld beschikbaar. Naast de 22 standaardvragen kan je zelf 5 lokale vragen toevoegen. Een voorbeeld van een rapportage die LibQual levert is een recent “notebook” van Texas University.
Libqual wordt in honderden bibliotheken ingezet, al ruim 10 jaar. Het betreft vooral bibliotheken in Angelsaksische landen: USA, Groot Brittanie en Zuid Afrika. Maar in toenemende mate doen ook andere landen mee, zoals de franstalige Belgen en Scandinaviers. Er zijn trouwens ook nogal wat consortia die LibQual gebruiken. Ook LIBER onderzoekt de mogelijkheden van LibQual.De vragen zijn beschikbaar in het Nederlands. Toch is er in NL gslechts één bibliotheek die het gebruikt, de Universiteit Utrecht. Wageningen (de enige NL-bibliotheek die het gebruikte)  is er dit jaar mee gestopt.
De voordelen zijn duidelijk: je hebt de beschikking over een gevalideerd instrument, je kunt benchmarken met (internationale) collega-bibliotheken, je kunt je verbeteringen monitoren en je geeft klanten een stem. Bovendien scheelt het enorm veel tijd als je niet zelf je onderzoek moet opstellen.
Nadelen zijn er ook: je kunt de vragen niet wijzigen, en ook niet je eigen ‘ branding’ meegeven.  Een van de commentaren is dat de vragen niet  relevant meer zijn, alhoewel dat in een recent onderzoek (Killick, najaar 2011) bestreden wordt. Ook is de respons vaak niet groot. Om dit laatste probleem op te lossen is nu de lite- versie besvhikbaar, waarbij klanten random een deel van de vragen krijgen voorgelegd. De respons is hiermee opeens verdubbeld.
Veel bibliotheken gebruiken naast LibQual andere onderzoeksmethoden om bepaalde onderwerpen verder uit te diepen. Denk hierbij onder andere aan focusgroepen. De meeste bibliotheken nemen LibQual eens in de twee of drie jaar af, omdat ze bang zijn anders de gebruikers af te stoten met teveel enquetes.

Veel informatie op het congres in York kwam uit de koker van de LibQual-fanclub. Een (wat oudere) en meer kritische beschouwing is te vinden in Edgar, William B. Quatsioninfg LibQual+: expanding its assessment of academic library effectiveness. In: portal: Libraries and the Academy 6(2006) 4, 445-465

De 22 standaardvragen: 

Affect of Service

AS-1 Employees who instill confidence in users

AS-2 Giving users individual attention

AS-3 Employees who are consistently courteous

AS-4 Readiness to respond to users’ questions

AS-5 Employees who have the knowledge to answer user questions

AS-6 Employees who deal with users in a caring fashion

AS-7 Employees who understand the needs of their users

AS-8 Willingness to help users

AS-9 Dependability in handling users’ service problems

Information Control

IC-1 Making electronic resources accessible from my home or office

IC-2 A library Web site enabling me to locate information on my own

IC-3 The printed library materials I need for my work

IC-4 The electronic information resources I need

IC-5 Modern equipment that lets me easily access needed information

IC-6 Easy-to-use access tools that allow me to find things on my own

IC-7 Making information easily accessible for independent use

IC-8 Print and/or electronic journal collections I require for my work

Library as Place

LP-1 Library space that inspires study and learning

LP-2 Quiet space for individual activities

LP-3 A comfortable and inviting location

LP-4 A getaway for study, learning, or research

LP-5 Community space for group learning and group study

.

Overwegingen in mijn cel

Nooit eerder woonde ik in een studentenkamer op een campus, maar deze week verblijf ik in een spartaanse cel op de campus in York. Ik bezoek hier het congres dat in 1 klap je hele twitterbericht beslaat: 9th Northumbria International Conference on Performance Measurement in Libraries and Information Services. Een van de opvallende uitkomsten van gebruikersonderzoeken van Angelsaksische academische bibliotheken is dat eerstejaars studenten graag comfortabele studieplekken in de bibliotheek zien. Als je weet dat vooral eerstejaars op de campus wonen, dan snap je dat ineens. Hun kamertje bevat een bed, een bureau met stoel en een kast. Mijn kamertje deze week ook. Ik klaag niet, het is leuk om dit eens te zien. De campus is een heel dorp, een eindje buiten de stad gelegen. Het is gebouwd in de zestiger jaren, dus veel beton in beeld. In het midden ligt een prachtig meertje. Een supermarkt, boekhandel en kapper completeren het dorpsgevoel, het is alleen helemaal uitgestorven. De zomervakantie duurt tot eind september en er lopen nu alleen maar bibliotheeknerds rond!
Tot nu toe heb ik al veel interessante verhalen gehoord en dat gaat nog drie dagen zo door. Een fantastische manier om snel op de hoogte te komen van alle ontwikkelingen op dit gebied. Er zijn deelnemers uit alle werelddelen, maar gek genoeg ben ik de enige hollander. Dat legt een zware last op mijn schouders om jullie allemaal op de hoogte te brengen. Ik neem daar de tijd voor, en zal in de komende weken steeds iets erover op dit blog schrijven.
Voor nu mijn belangrijkste indruk van vandaag: assessment van bibliotheken wordt elders uiterst professioneel aangepakt. De functienamen rollen over tafel: assessment librarians, data coordinators, service quality directors etc. In NL ken ik hier eigenlijk geen voorbeelden van, maar ik houd me aanbevolen voor tips. Waarom ik me hier mee bezighoud? Ik ben projectleider van een project waarbij we in de Leidse universitaire bibliotheken een methodiek opzetten voor het werken met prestatie indicatoren. Het project is nog in een beginfase, daarom komt dit congres juist nu zo goed uit. Ik kom boordevol goeie voorbeelden terug!
Op york.ac.uk/conferences/northumbria zijn de presentaties (later) terug te vinden.

Dubieuze relaties op LIBER

Hoeveel impact heeft bibliotheekgebruik op studiesucces? Met deze vraag is de University of  Huddersfield, samen met enkele partners, een onderzoek begonnen. Graham Stone presenteerde op LIBER de voorlopige resultaten van dit onderzoek. Een lastig onderzoek, zo bleek. Wat hebben ze gedaan? Ze hebben geanonimiseerde gegevens uit de studentenadministratie gekoppeld aan bibliotheekgebruik. Bibliotheekgebruik is geoperationaliseerd in termen van aantal leningen, inlogs in metalib en bibliotheekbezoek. Wat bleek? Er was geen sterke statistische correlatie tussen deze gegevens en studieresultaten te vinden. Maar, het blijkt wel zo te zijn dat studenten met betere resultaten (grade1) twee keer zoveel boeken lenen, drie keer zoveel inloggen en vaker naar de bieb komen als studenten die grade 3 scoren. Maar nu? Wat is hier nu oorzaak en wat het gevolg. Haal je betere resultaten doordat je meer leent? Of leen je meer omdat je meer interesse voor het vak hebt, en scoor je daardoor beter? Of ben je zo slim dat je snapt dat je de bieb nodig hebt. Dat werpt nóg een interessante vraag op. 15% van de studenten die hoog scoorden hadden geen gebruik gemaakt van de bibliotheek! Hoe zit dat dan? Zijn dat de echte genieën?
Kortom, dit onderzoek werpt voorlopig meer vragen op dan het beantwoordt, maar ze zijn ook nog niet klaar. Er gaan nog focusgroep interviews plaatsvinden om de resultaten verder uit te diepen. Ook is men bezig met het uitzoeken van gegevens over de non-users. Het project publiceert haar onderzoeksresultaten op een lezenswaardig weblog. In de Verenigde Staten heeft ACRL een interessant rapport over dit zelfde onderwerp uitgebracht (The value of academic libraries). Beide onderzoeksgroepen hebben inmiddels contact met elkaar.

Busjes met klanten LIBER

Onder de titel “Getting to know library user needs” brachten medewerkers van DEFF (Denmark’s Electronic Research Library), de Deense SURF, een vernieuwend verhaal over gebruikersonderzoek.  Achtergrond hiervoor is de wens van de (Deense onderwijsbibliotheken) om van  bibliotheek gecentreerd denken naar ‘ user logic’ over te gaan. De klant werkelijk centraal.  In diverse regio’s werden klanten van bibliotheken met busjes opgehaald en naar een ‘basecamp’ (workshops) gebracht. Daar werden ze onderworpen aan diverse activiteiten waarbij ze konden aangeven waarvoor zij de bibliotheek nodig hebben, welke rol de bibliotheek speelt in hun leven.  Ook werd gewerkt aan een beeld van de context waarin de klant zich dagelijks bevindt. Hiervoor werd oa gebruik gemaakt van fotodagboeken. Observaties en interviews vormden op deze manier een mix van verschillende onderzoekstechnieken die een beter beeld van de klant moeten opleveren. Ik moet zeggen dat ik deze antropologische methode van onderzoek innovatief vond, de uitkomsten van de sessies zijn mij echter niet duidelijk geworden. De bijbehorende publicatie biedt veel inspiratie voor alternatieve manieren van gebruikersonderzoek, ook zonder busjes.

Gemak dient de mens (2)

Gemak is kennelijk een hype in bibliotheekland. Opnieuw is er een artikel* over gemak verschenen, nu in relatie tot betrouwbaarheid van informatie.  In dit onderzoek wordt o.a. beschreven  waarom studenten de voorkeur hebben voor zoeken via Google in plaats van databases en catalogi. Opmerkelijke uitspraak: “use the library if you have time”.  Studenten weten wel dat ze bij de selectie van informatie moeten opletten en dat niet alle informatie even betrouwbaar is, maar toch kiezen ze ervoor om snel en gemakkelijk te zoeken. Dat de bibliotheekbronnen wellicht betere resultaten opleveren weegt kennelijk niet op tegen het gemak van Google. Met name het gebruik van gecontroleerde vocabulaires, Boolean operatoren is te ingewikkeld voor de generatie die gewend is  met natuurlijke taal te zoeken.  De auteurs doen naar aanleiding van deze bevindingen een aantal aanbevelingen.

1. Biedt in onderwijs geïntegreerde instructies aan naar het zoeken van voor het onderwerp specifieke literatuur, in plaats van het aanbieden van readers waarin alle aanbevolen literatuur is opgenomen.

2. Richt de aandacht van instructies op het beoordelen en selecteren van informatiebronnen. Het zoeken via Google en Google Scholar lukt ze namelijk wel.

3. Richt eenvoudige portals in, waarmee studenten gemakkelijk in de diverse databases kunnen zoeken.

*) Biddix, J.P., Chung, C.J. & Park, H.W. (2011) Convenience or credibility? A study of college student online research behaviors. Internet and Higher Education 14, 175-182.

Volg

Ontvang elk nieuw bericht direct in je inbox.