Categorie archief: Congresverslagen

Performance measurment Oxford (3)

user_experience_sarah_weiseEen belangrijk onderdeel van het congres in Oxford waren workshops en presentaties over UX (user experience). Dit is toch wel een trend te noemen in deze tak van sport: het onderzoeken van de ervaringen van de gebruiker door middel van technieken die deels uit het ICT domein komen (user interfaces testen) en deels uit de antropologie. Beide domeinen kwamen aan bod. De ook in Nederland bekende UX-goeroe Andy Priestner was niet aanwezig, maar twee andere bekende onderzoekers wel: Andrew Asher en Donna Lanclos.
Aan wat voor technieken moeten je denken? Bijvoorbeeld aan dagboeken, die volgens een bepaalde structuur en vraagstelling gevuld worden, of aan liefdesbrieven aan de bibliotheek, of juist “breaking-up-letters”. Ook het meelopen met een student (shadowing), observaties en eyetracking worden toegepast. Wat levert dat zoal op?

Frankie Wilson, Bodleian Libraries, onderzocht een groep PhD’s. Of eigenlijk maakte zij ze co-researcher in haar onderzoek, door ze ook te betrekken bij haar onderzoeksmethodiek die vooral gebaseerd was op dagboeken. Wat bleek: de PhD’s, die vanuit de hele wereld naar Oxford komen, voelen zich vooral eenzaam en verlaten. Ze hebben behoefte aan een verwelkomende community. Vanuit de bibliotheek hebben ze vooral behoefte aan tijdbesparende tips, zoals het gebruiken van citatiesoftware.

De MacOdrum Library deed een onderzoek naar de usability van LibGuides. Hierbij bleek dat deze vaak veel te veel informatie bevatten. De studenten willen vooral (max 5) belangrijke databases, informatie over citeren en een contactadres voor een vakspecialist. Qua lay-out werd gekozen voor tabs in “accordeons” in plaats van  tabs bovenaan of in het linkerframe.

In Harvard hebben ze een heel lab om bibliotheek user interaces te bestuderen. Mooie quote “A user interface is like a joke. If you have to explain it, it’s not that good”.

Heel bijzonder was een workshop over etnografie, verzorgd door Ashner en Lanclos. We werden in kleine groepjes naar buiten gestuurd, waar we gestructureerd observaties moesten doen. Denk aan de activiteiten die je ziet, de middelen die mensen daarbij gebruiken, wat de looppatronen zijn en hoe mensen interacteren met elkaar en de omgeving. Wij gingen naar een grasveldje bij een museum, waar we in 15 minuten een heel avontuur observeerden. Eerst zagen we mensen vooral foto’s maken met hun mobieltje, lekker op bankjes zitten met eten, en wat lezen. Opeens klonk er gekrijs. Er stond een hoge boom, met daaromheen een hoog hek. Een klein meisje was tussen de spijen van het hek door gekropen en kun niet meer terug. Haar moeder sjorde nog, maar het koppie van het kindje bleef klem zitten. Paniek! En wat moet je dan doen als observant? We zijn bibliotheekmensen, hulpvaardigheid zit ons in het bloed. Dus gingen we toch maar naar binnen om een sleutel van een slot te halen, dat op het hek zat. Jammer genoeg werkte het slot niet, maar het meisje ontsnapte toch nog op een Houdini-achtige wijze uit haar kooi. Einde verhaal.
knel

Het klinkt allemaal heel banaal, maar als je hoorde met hoeveel informatie alle groepjes terugkwamen na 15 minuten observeren, dan is dit een heel goede manier om in korte tijd veel informatie boven water te halen.

Voor wie alles wil weten over de antropologische methode verwijs ik naar de ERIAL toolkit, die al wat ouder is, maar nog steeds relevant en een presentatie uit Cambridge, waar UX aan de orde van de dag lijkt te zijn.  Of lees het tijdschrift Weave. 

Performance measurement Oxford (2)

LibQUALlogo_PNGThe Libqual Sessions. 

Het congres is altijd een reünie voor de LibQual-community, waar wij in Leiden intussen ook deel van uitmaken. We deden mee aan workshop voor LibQualers. De vraag die gesteld werd was wat onze ervaringen waren met de verschillende fasen uit het LibQual proces. Op de een of andere manier kwam er alleen maar gemopper op de (onvermijdelijke) post-its terecht. Herkenbare opmerkingen:

  • De websurvey ziet er lelijk en onaantrekkelijk uit
  • Sommige vragen zijn onbegrijpelijk
  • Het gaat vooral over traditionele bibliotheekdiensten
  • Er zit een stevige USA-bias in de configuratie van de enquete
  • De methodiek is lastig uit te leggen

Dit allemaal genoemd hebbend, kwamen er enkele deelnemers met alternatieven, zoals MISO (Amerikaans colleges) en Insync (Australisch) http://educationandlibraries.insyncsurveys.com.au/our-clients/universities/
Nadeel van het overstappen naar een ander survey instrument is dat je de trends uit je enquêtes van de voorgaande jaren kwijt bent. En die zijn juist interessant. Men verwacht dat LibQual op korte termijn aanpassingen zal gaan doen.
Handige tip die we opvingen: gebruik NVIVO analyse software om de open comments te analyseren.

Naast de workshop werden er ook een aantal presentaties over LibQual gehouden. Spectaculair waren de resultaten van LibQual in de University of Limerick. In 2007 begonnen zij met LibQual: hun radar charts waren helemaal rood. Ze hebben een heel traject aan verbeteringen opgezet, variërend van self-service tot de inrichting van een post-graduate reading room. Ook hebben ze een campagne “Every seat counts” opgezet, waarbij studenten de spullen van mensen die te lang weg zijn, mogen opruimen. Gevolg van dit alles: het rood is verdwenen uit de radars!

Jacky Belanger (University of Washington) vertegenwoordigt een van de bibliotheek die heel bewust géén gebruik maken van LibQual, maar al jarenlang een eigen instrument gebruiken. Haar presentatie handelde over de moeilijkheden die je ondervindt als je resultaten van gebruikersonderzoek wilt omzetten naar verbeteracties. Soms kan dat helemaal niet (bv uitbreiden van het aantal werkplekken) en soms gelooft de bibliotheekstaf de resultaten van het onderzoek gewoon niet. De bibliotheekcultuur is bovendien niet altijd even veranderingsgezind. Wat interessant is, is dat men de strategische planning van de bibliotheek heeft afgestemd op de resultaten van het onderzoek.

Performance measurement Oxford (1)

kebleVorige week was ik bij het congres 12e International Conference on Performance Measurement in Libraries, dit keer in Oxford.

Voor mij was het de vierde keer dat ik dit congres bijwoonde. Opnieuw was het een erg goed congres, met veel interessante sprekers en een levendige assessment community. Het congres duurde 3 dagen, volgepropt met lezingen en workshops. Op de 4e dag volgde ik een 7 uur lange workshop over datavisualisatie mbv Tableau.

Naast het interessante congres is het ook erg leuk om in Oxford te zijn. We sliepen in Keble College, waar het congres ook plaatsvond. Een 19e eeuws gebouw, typisch een engels college, met een prachtig grasveld waarom heen de collegegebouwen staan. De eetzaal was een belevenis op zichzelf!
eetzaal
Het voert te ver om iets over alle presentaties te vermelden, daarom hierbij een selectie van de belangrijkste bevindingen.

De vorige keren gingen veel presentaties over de relatie tussen bibliotheekgebruik en studiesucces. Graham Stone van de University of Huddersfield was één van de eersten die hierover in 2013 rapporteerde. Ik schreef daar toen over. Inmiddels zijn er veel meer van dit soort studies gedaan en keer op keer blijkt dat er een correlatie is tussen hoge cijfers en frequent bibliotheekgebruik. Er is nu een stroming in de VS die er vanuit gaat dat dit voldoende bewijs is voor een causaal verband: doordat studenten de bibliotheek veel gebruiken halen ze beter cijfers (in de bibliotheek word je slimmer). Gelukkig zijn er ook nog anderen, die hier tegen in gaan. Zoals Andrew Asher, een van de onderzoekers van het ERIAL project, waarover later meer, twitterde: “Pretty sure the relationship is high achieving students tend to use the library, not library use produces better grades”

Creating Knowledge (slot):wie is informatievaardig?

Nog eenmaal over het Creating Knowledge CKVIII congres in Reykjavik. Keynote speaker Lisa Hinchliffe (University of Illinois) stelde aan een zaal voor “kenners” de vraag: wie is hier informatievaardig? Slechts een enkeling durfde een hand op te steken! Volgens Lisa het gevolg van het lastig te vatten concept Informatievaardigheid. Vervolgens had Lisa een leuke invuloefening met de zaal: maak je eigen definitie van informatievaardigheid.

lisa

Hier kwamen zeer uiteenlopende antwoorden op, zoals “in order to get a better quality of life” of “in order to create new knowledge”. Lisa benadrukte dat informatievaardigheid sterk afhankelijk is van de context: veel mensen hebben fantastisch georganiseerde iTunes-bibliotheken, compleet met keywords, tags en mapjes, maar ze leggen de link niet met de manier waarop informatie in bijvoorbeeld databases is georganiseerd. Kennelijk ben je in de ene context wél informatievaardig en in de ander niet of minder. Lisa introduceerde het begrip Information aliterate (being able to be information literate, but not interested in doing so). Een interessante gedachte! Lisa had er nog één in petto voor ons: information literacy as a way of life. Ben altijd kritisch, stel altijd vragen en beslis op basis van goede informatie. Informatievaardigheid is geen vaardigheid, maar een houding. Een mooie afsluiter van dit congres!

De slides van deze presentatie zijn te vinden op de congressite.

 

Creating knowledge (3): Frameworks

banner_updateVoor mij was tijdens het CKVIII congres de spannende taak weggelegd om de openings key note te verzorgen. Mijn verhaal was nogal theoretisch: een vergelijking tussen het ACRL Framework for Information Literacy en de Information literacy lens on the Researcher Development Framework. Voor mij was het een verrassing dat vrijwel niemand in de zaal (ruim 200 Scandinavische specialisten op het gebied van informatievaardigheid) het Researcher Development Framework kende. Omdat ik me nogal kritisch uitliet over het ACRL Framework, en met name de praktische toepasbaarheid daarvan,  was ik benieuwd wat de Amerikaanse aanwezigen (collega key note speakers) ervan zouden vinden. Tot mijn verrassing gaven zij mij (min of meer) gelijk. En er werd meteen richting VS getwitterd dat ze daar toch ook eens naar het RDF zouden moeten kijken. Ook bij de samenvatting van het congres werd het RDF nog een keer genoemd als “take away” van het congres.
Op het KNVI congres in november zal ik dit verhaal nogmaals doen, maar er moet intussen al wel wat aangepast worden! Want sinds afgelopen weekend is bekend geworden dat het ACRL bestuur definitief de stekker uit de oude standards (in Nederland de “Normen”) trekt. Dat levert een hoop commotie op, op twitter te volgen via #acrlframework.

De slides van mijn presentatie zijn te vinden op de congressite.

 

Creating Knowledge (2): Flippen

flippedEnkele presentaties op het CKVIII congres (juni 2016, Reykjavik) behandelden de didactiek van het informatievaardigheidsonderwijs. Het ging daarbij vooral over “flippen”.

Torstein Lág (The Arctic University, Noorwegen) is een enthousiast pleitbezorger voor de “flipped classroom”. Hierbij wordt het huiswerk voorafgaand aan een klassikale bijeenkomst gemaakt, waardoor men in de bijeenkomst veel dieper op de stof kan ingaan. Typisch in een flipped classroom zijn de korte filmpjes, de kennisclips, die studenten moeten bekijken voorafgaand aan de klassikale bijeenkomt. Ook bij deze benadering zijn studenten meer gemotiveerd en activeren dan in het traditionele onderwijs. Het is een werkwijze die in Nederland ook veel gebruikt wordt, oa bij de HvA (ppt van Harrie van der Meer).
De slides van deze presentatie staan op de congressite.

 

Marijn Post (Wageningen University) vertelde over Team Based Learning, een methode die gebaseerd is op “flipped”onderwijs en samenwerkend leren. Studenten bereiden zich eerst voor en gaan dan individueel én in groepjes aan de slag. In Wageningen zijn ze er enthousiast over: de studenten vonden het leuk, waren gemotiveerd en haalden betere resultaten. De slides van deze presentatie staan op de congressite.

 

 

 

Creating Knowledge (1): Project Information Literacy

PIL_Logo5_whitebackgroundBegin juni 2016 vond in Reykjavik het 8e Creating Knowledge (CKVIII) congres plaats. Een congres dat vooral bedoeld is voor Scandinavische bibiotheekmensen, die zich bezighouden met informatievaardigheid in het hoger onderwijs. Er waren ruim 200 deelnemers aanwezig op dit 2 dagen durende congres. Zelf verzorgde ik de openings keynote op dit congres over het ACRL Framework en het Vitea Researcher Development Framework. Daarover later meer.
Alison Head, van het Project Information Literacy (PIL) verzorgde een erg interessante keynote. PIL is een langlopend onderzoek naar de informatievaardigheid van studenten tijdens en ná hun studie. Het project startte in 2008 en heeft inmiddels zo’n 15000 studenten bevraagd naar verschillende aspecten van informatievaardigheid. Alison benoemde vijf opvallende “take aways”, conclusies die je uit al die onderzoeken kunt trekken.

  1. Volgens studenten is onderzoek nu moeilijker dan ooit tevoren. Woorden als angst, stress en overspoeld zijn met informatie worden in dit kader veel door hen genoemd. De enorme informatieberg waar ze zich doorheen denken te moeten worstelen is afschrikwekkend.
  2. Beginnen is het moeilijkste onderdeel van een opdracht.  Het definiëren van het onderwerp en het inperken van het onderwerp wordt door meer studenten lastig gevonden dan het daadwerkelijke zoeken.
  3. In ditzelfde kader: het definiëren van de context van het onderwerp is ook lastig. Hoe ver moet je gaan? Wat is de juiste terminologie en waar is sprake van jargon?
  4. Zoeken; zoekstrategie: studenten kiezen vaak voor het zoeken naar “het antwoord” en vermijden risico’s in hun zoekstrategie. Ze leunen sterk op de door docenten aangeboden informatiebronnen.
  5. Studenten leren tijdens hun studie informatiebronnen beoordelen.Een onderdeel van ons onderwijs dat dus succesvol is!

De hele presentatie (ppt) is te vinden op Slideshare.

 

Edinburgh (5) : Outcomes, Impact & Value

directional-valueBig Data: de bibliotheek én het onderwijs doen ook mee in trend om data te verzamelen en verbanden te ontdekken. Een belangrijke exponent hiervan, Learning analytics, heeft inmiddels op veel plekken voet aan de grond gekregen. In Wollongong, de bakermat van de fameuze Library Cube van Margie Jantti, wordt nu geprobeerd om de gegevens uit de Cube (over bibliotheekgebruik) te combineren met data die Learning Analytics oplevert. Het is een logische stap, die ertoe kan leiden dat het effect van bibliotheek op studiesucces beter dan nu kan worden aangetoond. Wordt ongetwijfeld vervolgd.
In de UK wordt ook onderzoek gedaan naar het resultaat (outcome) van bibliotheekdiensten. Een voor mij nieuw meetinstrument dat hiervoor wordt ingezet is de AMOSSHE Value & Impact tookit. Dit instrument richt zich op student support en het effect daarvan op studenten en/of hun leren. Het blijkt dat het ook in de bibliotheek een bruikbare tool is. Zo gebruikt de University of Sunderland het om te meten of hun diensten bewijsbaar effect hebben. Ze hebben daar een interessante benadering: bij ieder project of nieuwe dienst wordt vooraf bepaald wat de gewenste outcome / resultaat van deze dienst zou moeten zijn. Dat betekent dat ze nagaan wat de afnemer van de dienst eraan moet hebben. Dus niet of deze tevreden is met de dienst, maar of het een effect heeft gehad. Achteraf wordt dit gecheckt met behulp van het Amosshe instrument. Het werken met outcomes bij het opzetten van diensten is ook een goed hulpmiddel bij de marketing ervan. Je kunt op die manier veel beter overbrengen wat een gebruiker daadwerkelijk hééft aan het gebruiken van de dienst. In marketing zijn ze dan ook bijzonder bedreven in Sunderland. Kijk maar eens naar hun 7 Steps Marketing toolkit.

Dit is mijn laatste blog over het congres in Edinburgh. Over twee jaar wordt het congres naar verwachting weer ergens in UK georganiseerd. Het is meestal midden in de Nederlandse zomervakantie, maar het is werkelijk de moeite waard om het eens te bezoeken!

Edinburgh (4): Participatory design

user experienceHoe betrek je klanten al in een vroeg stadium bij het ontwerpen van nieuwe diensten, zodat je situaties zoals op dit plaatje voorkomt? Dat was de vraag die Nancy Fried-Foster (Ithaka S+R) beantwoordde in haar keynote. Nancy twittert als @anthrolib en dat zegt meteen alles: zij is een van de voorvechters van antropologische en ethnografische onderzoeksmethoden in de bibliotheek. Je kunt die onderzoeksmethoden gebruiken voor het (her)inrichten van ruimtes, het ontwikkelen van nieuwe diensten, software of userinterfaces. Haar werkwijze is als volgt: je betrekt je klanten/stakeholders vooral in de beginfase van het project, wanneer je probeert te achterhalen wát er precies gemaakt of gedaan moet worden. De informatie die je op die manier verzamelt vormt de basis voor de verdere ontwikkeling, maar daar zijn de klanten dan weer minder bij betrokken. Het is hierbij vooral van belang te focussen op wat klanten willen doen, wat ze willen bereiken, niet op wat ze nodig hebben (want dat weten ze soms zelf ook nog niet). Originele manieren om daar achter te komen zijn onder andere het laten fotograferen van hun werkplek thuis en van de inhoud van hun tas. Ook kan je ze vragen om hun ideale bibliotheek te tekenen. In vervolg praat je met die mensen om erachter te komen wat de werkelijke betekenis is van deze gegevens. In dit onderzoeksarsenaal horen ook interviews en observaties, die weer vaker worden ingezet bij usability onderzoek.
Een andere manier om klanten te betrekken bij de verbetering van diensten is het opzetten van een klantenpanel. Sam Dick van de Open University (UK) stond voor een ingewikkelde klus, want met 250.000 studenten die nooit op een campus komen is het lastig voor een bibliotheek om een relatie met hen op te bouwen. Toch lukte het haar om zo’n 500 studenten te werven die in een virtueel klantenpanel meedoen met diverse activiteiten. Zo kan zij ze inzetten voor usability onderzoek van remote diensten, ze kan kleine focusgroepen over specifieke onderwerpen inrichten én ze heeft meteen een representatieve groep die ze kan enquêteren. De responsrate van deze groep is enorm: ruim 80% reageert op vragen. Ook in een traditionele omgeving is dit een werkwijze die het overwegen zeker waard is.
Karen Diller (Washington State University Vancouver) hield een pleidooi voor het inzetten van een groot arsenaal onderzoekmethoden uit andere vakgebieden, waaronder uiteraard de antropologie, maar ook omgevingspsychologie, cognitieve psychologie en onderwijskunde. Haar onderzoek gaat dan ook over de manier waarop studieruimtes in bibliotheken het leren ondersteunen. Hoe leer je, welke omstandigheden bevorderen het onthouden of de concentratie, dat soort vragen probeert zij te beantwoorden.

Het onderwerp participatory design ligt dicht tegen UX (user experience) aan. Ook dat is momenteel een hot topic in Angelsaksische landen. Meer hierover weten: het nieuwe open access journal WEAVE.

Meer lezen over participatory design: Participatory design in academic libraries. CLIR, 2014.

Edinburgh (3): een Culture of Assessment

kwaliteitGestructureerd en klantgericht aan kwaliteit werken, dat was het thema van een groot aantal presentaties. Het is niet eenvoudig om een hele organisatie met de neuzen dezelfde kant op te krijgen als het om kwaliteit gaat en er zijn allerlei methoden om zoiets vorm te geven. Het kernbegrip in deze sessies was dan ook: een “Culture of Assessment”. Een begrip dat al in 2004 werd geïntroduceerd door Lakos en Phipps. Lastig te vertalen, beter te omschrijven. Het gaat om een organisatiecultuur waarin ieder beslissing genomen wordt op basis van feiten, onderzoek en analyse, altijd gericht op het leveren van diensten met een maximaal positief effect voor de gebruikers ervan.
Een van de methoden om een Culture of Assessment van de grond te krijgen is het opstellen van een plan, waarin je aangeeft op welke wijze je met welk doel gegevens verzamelt en hoe vaak je dat doet. Door je organisatie hierbij te betrekken en uit te dragen waarom je dit doet, kan je de gewenste organisatiecultuur bereiken. Tania Alekson van Capilano University heeft zo’n plan ontwikkeld en publiceert dit deze maand. Een ander mooi voorbeeld is te vinden bij McGill University.

Als je wilt weten hoe jou organisatie ervoor staat, dan kan je gebruik maken van het instrument dat hoort bij het Quality Maturity Model van Frankie Wilson. Frankie promoveerde hier vorig jaar op en dit jaar verscheen een artikel over dit model. Het instrument is gebaseerd op een survey van 43 vragen die aan alle medewerkers in de organisatie gesteld moeten worden. Het model meet 7 verschillende facetten die te maken hebben met kwaliteitsbewustzijn en schaalt deze in op 5 ontwikkelingsniveau’s. Per facet kan je zien hoe het staat met jouw organisatiecultuur en kan je ook zien wat je moet doen om een niveau te stijgen. Twee jaar geleden presenteerde Frankie dit model en sinds vorige week is het geheel gratis te vinden op het web. Iedereen mag er gebruik van maken, maar ze stelt het wel op prijs als je haar laat weten dat je het gaat gebruiken.

Bij dit alles moet je er natuurlijk wel voor waken dat je niet gaat navelstaren op interne procedures, maar dat je het belang van je klanten voortdurend in het vizier houdt.

Meer lezen: Farkas, Hinchliffe & Houk. Bridges and barriers: factors influencing a culture of assessment in academic libraries. College & Research Libraries, 2015, march.