Categorie archief: Assessment

Edinburgh (5) : Outcomes, Impact & Value

directional-valueBig Data: de bibliotheek én het onderwijs doen ook mee in trend om data te verzamelen en verbanden te ontdekken. Een belangrijke exponent hiervan, Learning analytics, heeft inmiddels op veel plekken voet aan de grond gekregen. In Wollongong, de bakermat van de fameuze Library Cube van Margie Jantti, wordt nu geprobeerd om de gegevens uit de Cube (over bibliotheekgebruik) te combineren met data die Learning Analytics oplevert. Het is een logische stap, die ertoe kan leiden dat het effect van bibliotheek op studiesucces beter dan nu kan worden aangetoond. Wordt ongetwijfeld vervolgd.
In de UK wordt ook onderzoek gedaan naar het resultaat (outcome) van bibliotheekdiensten. Een voor mij nieuw meetinstrument dat hiervoor wordt ingezet is de AMOSSHE Value & Impact tookit. Dit instrument richt zich op student support en het effect daarvan op studenten en/of hun leren. Het blijkt dat het ook in de bibliotheek een bruikbare tool is. Zo gebruikt de University of Sunderland het om te meten of hun diensten bewijsbaar effect hebben. Ze hebben daar een interessante benadering: bij ieder project of nieuwe dienst wordt vooraf bepaald wat de gewenste outcome / resultaat van deze dienst zou moeten zijn. Dat betekent dat ze nagaan wat de afnemer van de dienst eraan moet hebben. Dus niet of deze tevreden is met de dienst, maar of het een effect heeft gehad. Achteraf wordt dit gecheckt met behulp van het Amosshe instrument. Het werken met outcomes bij het opzetten van diensten is ook een goed hulpmiddel bij de marketing ervan. Je kunt op die manier veel beter overbrengen wat een gebruiker daadwerkelijk hééft aan het gebruiken van de dienst. In marketing zijn ze dan ook bijzonder bedreven in Sunderland. Kijk maar eens naar hun 7 Steps Marketing toolkit.

Dit is mijn laatste blog over het congres in Edinburgh. Over twee jaar wordt het congres naar verwachting weer ergens in UK georganiseerd. Het is meestal midden in de Nederlandse zomervakantie, maar het is werkelijk de moeite waard om het eens te bezoeken!

Edinburgh (4): Participatory design

user experienceHoe betrek je klanten al in een vroeg stadium bij het ontwerpen van nieuwe diensten, zodat je situaties zoals op dit plaatje voorkomt? Dat was de vraag die Nancy Fried-Foster (Ithaka S+R) beantwoordde in haar keynote. Nancy twittert als @anthrolib en dat zegt meteen alles: zij is een van de voorvechters van antropologische en ethnografische onderzoeksmethoden in de bibliotheek. Je kunt die onderzoeksmethoden gebruiken voor het (her)inrichten van ruimtes, het ontwikkelen van nieuwe diensten, software of userinterfaces. Haar werkwijze is als volgt: je betrekt je klanten/stakeholders vooral in de beginfase van het project, wanneer je probeert te achterhalen wát er precies gemaakt of gedaan moet worden. De informatie die je op die manier verzamelt vormt de basis voor de verdere ontwikkeling, maar daar zijn de klanten dan weer minder bij betrokken. Het is hierbij vooral van belang te focussen op wat klanten willen doen, wat ze willen bereiken, niet op wat ze nodig hebben (want dat weten ze soms zelf ook nog niet). Originele manieren om daar achter te komen zijn onder andere het laten fotograferen van hun werkplek thuis en van de inhoud van hun tas. Ook kan je ze vragen om hun ideale bibliotheek te tekenen. In vervolg praat je met die mensen om erachter te komen wat de werkelijke betekenis is van deze gegevens. In dit onderzoeksarsenaal horen ook interviews en observaties, die weer vaker worden ingezet bij usability onderzoek.
Een andere manier om klanten te betrekken bij de verbetering van diensten is het opzetten van een klantenpanel. Sam Dick van de Open University (UK) stond voor een ingewikkelde klus, want met 250.000 studenten die nooit op een campus komen is het lastig voor een bibliotheek om een relatie met hen op te bouwen. Toch lukte het haar om zo’n 500 studenten te werven die in een virtueel klantenpanel meedoen met diverse activiteiten. Zo kan zij ze inzetten voor usability onderzoek van remote diensten, ze kan kleine focusgroepen over specifieke onderwerpen inrichten én ze heeft meteen een representatieve groep die ze kan enquêteren. De responsrate van deze groep is enorm: ruim 80% reageert op vragen. Ook in een traditionele omgeving is dit een werkwijze die het overwegen zeker waard is.
Karen Diller (Washington State University Vancouver) hield een pleidooi voor het inzetten van een groot arsenaal onderzoekmethoden uit andere vakgebieden, waaronder uiteraard de antropologie, maar ook omgevingspsychologie, cognitieve psychologie en onderwijskunde. Haar onderzoek gaat dan ook over de manier waarop studieruimtes in bibliotheken het leren ondersteunen. Hoe leer je, welke omstandigheden bevorderen het onthouden of de concentratie, dat soort vragen probeert zij te beantwoorden.

Het onderwerp participatory design ligt dicht tegen UX (user experience) aan. Ook dat is momenteel een hot topic in Angelsaksische landen. Meer hierover weten: het nieuwe open access journal WEAVE.

Meer lezen over participatory design: Participatory design in academic libraries. CLIR, 2014.

Edinburgh (3): een Culture of Assessment

kwaliteitGestructureerd en klantgericht aan kwaliteit werken, dat was het thema van een groot aantal presentaties. Het is niet eenvoudig om een hele organisatie met de neuzen dezelfde kant op te krijgen als het om kwaliteit gaat en er zijn allerlei methoden om zoiets vorm te geven. Het kernbegrip in deze sessies was dan ook: een “Culture of Assessment”. Een begrip dat al in 2004 werd geïntroduceerd door Lakos en Phipps. Lastig te vertalen, beter te omschrijven. Het gaat om een organisatiecultuur waarin ieder beslissing genomen wordt op basis van feiten, onderzoek en analyse, altijd gericht op het leveren van diensten met een maximaal positief effect voor de gebruikers ervan.
Een van de methoden om een Culture of Assessment van de grond te krijgen is het opstellen van een plan, waarin je aangeeft op welke wijze je met welk doel gegevens verzamelt en hoe vaak je dat doet. Door je organisatie hierbij te betrekken en uit te dragen waarom je dit doet, kan je de gewenste organisatiecultuur bereiken. Tania Alekson van Capilano University heeft zo’n plan ontwikkeld en publiceert dit deze maand. Een ander mooi voorbeeld is te vinden bij McGill University.

Als je wilt weten hoe jou organisatie ervoor staat, dan kan je gebruik maken van het instrument dat hoort bij het Quality Maturity Model van Frankie Wilson. Frankie promoveerde hier vorig jaar op en dit jaar verscheen een artikel over dit model. Het instrument is gebaseerd op een survey van 43 vragen die aan alle medewerkers in de organisatie gesteld moeten worden. Het model meet 7 verschillende facetten die te maken hebben met kwaliteitsbewustzijn en schaalt deze in op 5 ontwikkelingsniveau’s. Per facet kan je zien hoe het staat met jouw organisatiecultuur en kan je ook zien wat je moet doen om een niveau te stijgen. Twee jaar geleden presenteerde Frankie dit model en sinds vorige week is het geheel gratis te vinden op het web. Iedereen mag er gebruik van maken, maar ze stelt het wel op prijs als je haar laat weten dat je het gaat gebruiken.

Bij dit alles moet je er natuurlijk wel voor waken dat je niet gaat navelstaren op interne procedures, maar dat je het belang van je klanten voortdurend in het vizier houdt.

Meer lezen: Farkas, Hinchliffe & Houk. Bridges and barriers: factors influencing a culture of assessment in academic libraries. College & Research Libraries, 2015, march.

Zelfoverschatting ten aanzien van informatievaardigheid

Eigenlijk weten we het allang, maar het is fijn als het weer eens in een onderzoek* bevestigd wordt: studenten overschatten zichzelf enorm als het gaat om hun informatievaardigheid. In een onderzoek onder bijna 600 Amerikaanse college studenten is uitgezocht hoe het gesteld is met hun informatievaardigheid (mbv de ILT-test). Deze test werd afgenomen bij de start van hun studie. Meer dan 80% van de studenten scoorde hierbij een onvoldoende. Maar liefst 75% dacht echter voorafgaand aan deze test voldoende informatievaardig te zijn. Na de test werd hen opnieuw gevraagd hoe ze dachten dat ze gescoord hadden (de test voorziet niet in feedback en de studenten hadden hun score niet vernomen) en toen dacht toch nog 68% het er goed afgebracht te hebben. Ze waren op dat moment dus nog steeds “onbewust onbekwaam”.

Deze studenten strooien zichzelf en hun docenten zand in de ogen als ze verklaren voldoende competenties te hebben op het gebied van informatievaardigheid. Wat volgens mij ook meespeelt is dat veel studenten (en docenten?) het concept “informatievaardigheid” vertalen als “ik kan alles vinden”. Dat het een veel breder concept is, dat zich uitstrekt van zoeken tot wetenschappelijk publiceren, is nog steeds niet bij iedereen bekend.

Ook opvallend is het feit dat  de studenten te weinig geschoold waren in het (Amerikaanse) voortgezet onderwijs. In Nederland is de situatie niet veel rooskleuriger. De eerstejaars studenten die wij ontmoeten tijdens onze cursussen blijken zelfs  amper Google-vaardig te zijn, kennen Google Scholar of Google Books niet, en plagiëren er volkomen argeloos lustig op los. Er valt nog een wereld te winnen op dit gebied! Bijvoorbeeld: het beoordelen van zoekresultaten is een ondergeschoven kindje, wat zich steeds meer gaat fnuiken. Enkele weken geleden verscheen in Wired een alarmerend artikel hierover: http://www.wired.com/magazine/2011/11/st_thompson_searchresults/ Ik citeer: “If they’re naive at Googling, it’s because the ability to judge information is almost never taught in school.”

* Het volledige artikel: Gross, M. Lathan, D. (2011) What’s skill got to do with it? Information literacy skills and self-views of ability among first-year college students. Journal of the American Society for Information Science and Technology (62) 12.  Met dank aan de collega’s uit Delft voor de tip!