Wat een bibliothecaris moet weten over Generatieve AI

De essentie is dat AI-modellen een onderwerp niet begrijpen zoals mensen dat doen, maar woorden aan elkaar weven op basis van ingewikkelde statistische berekeningen. Om dit te doen, gebruiken AI-modellen enorme datasets die verzameld zijn uit verschillende bronnen, waaronder sommige met foutieve data. Dit maakt hun antwoorden niet transparant en soms helemaal fout (dit wordt ook wel hallucinaties genoemd). Academische bibliotheken kunnen de antwoorden echter transparanter en betrouwbaarder maken door de commerciële AI-chatbots te dwingen gevalideerde gegevens te gebruiken voor hun antwoorden met Retrieval Augmented Generative AI-applicaties (RAG). Dit werkt als volgt: de vraag van de gebruiker wordt ingevoerd in een database van de bibliotheek met  gevalideerde en betrouwbare informatie en de voor die vraag relevante documenten worden opgehaald. Deze documenten worden vervolgens samen met de vraag van de gebruiker naar de commerciële AI-chatbot gestuurd met de instructie om het antwoord te vinden in de documenten van de bibliotheek. De applicatie geeft dan het antwoord op de specifieke vraag die door de chatbot is gegenereerd, samen met de relevante documenten.

AI-effecten op de omgeving van de academische bibliotheek

Vervolgens kijken we naar de impact van AI op de wetenschap en op het gedrag van bibliotheekgebruikers:

• AI zal de wetenschap transformeren door de inzet van AI-modellen voor complexe systemen, die data van meerdere disciplines samenbrengen. Ook zal het tempo van wetenschappelijk onderzoek versnellen. Met als gevolg meer wetenschappelijke publicaties en een verdere versnippering van het scholarly record (naast een artikel ook bijvoorbeeld data, software code, protocollen, audiovisuele bestanden e.d.; the atomisation of the scholarly record).
• Het gedrag van bibliotheekgebruikers zal volgens ons drastisch veranderen omdat de interactie met internet een dialoog wordt (‘conversational discovery’). Op de langere termijn wordt voorspeld dat op AI-gebaseerde personal assistants softwareapplicaties zullen gebruiken als een  proxy voor de eindgebruiker, rekening houdend met de persoonlijke voorkeuren van de eindgebruiker.

Paradigma shift in discovery

Deze veranderde interactie met de digitale wereld veroorzaakt een paradigma shift in discovery. De overgang naar conversational discovery met AI-chatbots, die direct antwoord geven op de vraag van de gebruiker, zal leiden tot (veel) minder gebruik van bibliotheekcollecties en mogelijk resulteren in de behoefte aan een nieuw type gebruikscijfers: gebruik door de AI-chatbot namens de eindgebruiker.

Metadata en erfgoedcollecties

De potentiële toepassingen van AI in metadataproductie en erfgoedcollecties zullen ook grote gevolgen hebben voor bibliotheken. Er zijn veelbelovende mogelijkheden om (delen van) de metadataproductie te automatiseren, waardoor digitale erfgoedcollecties beter vindbaar worden. Een andere toepassing is het gebruik van RAG-achtige applicaties om erfgoedcollecties open te stellen voor vraag-en-antwoord interacties.

Toegang tot bibliotheekcollecties, AI-literacy, Open Science en de bibliotheekorganisatie

Tot slot gaan we in op vier andere kwesties die relevant zijn voor academische bibliotheken en die tot nu toe weinig aandacht hebben gekregen in de literatuur, maar die de komende jaren zeker een rol gaan spelen:

• De omstreden kwestie van het toestaan van toegang door commerciële AI-chatbots tot bibliotheekcollecties
• De noodzaak om de cursussen over informatievaardigheden te herontwikkelen
• De potentiële bedreigingen voor Open Science-praktijken in AI-gedreven wetenschap door de dominantie van enkele Big Tech-bedrijven
• De effecten van AI-tools voor bedrijven op bibliotheekorganisaties.

In totaal voorspellen we 24 verschillende effecten van generatieve AI op academische bibliotheken. Zie voor een uitgebreide beschrijving onze White Paper.

De eerste Leo Waaijers Award  

Op 22 oktober 2024 zal op het Open Science Festival de eerste Leo Waaijers Award worden uitgereikt. De Award is bedoeld voor een persoon of groep die in de afgelopen jaren een gedurfd, vernieuwend en/of impactvol initiatief heeft genomen op het gebied van Open Science. Dit initiatief van de UKB is bedoeld om Open Science initiatieven in het zonnetje te zetten en daardoor anderen te stimuleren en te inspireren. Deze nieuwe Award zal periodiek worden toegekend. Mocht je dit lezen en een Open Science initiatief van iemand of jezelf willen nomineren, vul dan dit nominatieformulier in vóór 1 september en stuur dat naar ukb@uu.nl. We (de jury bestaande uit Saskia Woutersen-Windhouwer, Hubert Krekels en mijzelf) maken half september een eerste selectie bekend en de winnaar wordt op het festival zelf bekend gemaakt.

In de voetsporen van Leo

Vorig jaar overleed Leo onverwachts en op zijn uitvaart bleek voor hoeveel mensen hij een inspiratiebron is geweest. Onvermoeibaar, altijd op het scherp van de snede, met gedurfde, vernieuwende voorstellen en acties. Strijdvaardig, maar altijd met humor en plezier. We hopen met deze Award dat anderen in zijn voetsporen zullen treden en zo zijn spirit en durf voort te laten leven.

Toegangsvormen tot wetenschappelijke publicaties 

Voor het UKB – en gefinancierd door de Stichting Pica – heb ik een onderzoek uitgevoerd over toegang vormen tot wetenschappelijke informatie. Er waren twee onderzoekslijnen: (A) hoe kunnen onderzoeksinstellingen die niet tot het UKB behoren toegang krijgen tot paywalled wetenschappelijke artikelen en (B) wat zijn betekenisvolle toegangsvormen voor het brede publiek? Bij het laatste gaat het vooral om Open Access wetenschappelijke artikelen. In deze blog wil ik over het laatste wat meer vertellen.

Doelgroepen en de belangrijkste drempel

Wie van het brede publiek wil wetenschappelijke artikelen lezen? Er kunnen grofweg drie categorieën onderscheiden worden:

• Extramurale onderzoekers, bijvoorbeeld citizen scientists, onafhankelijke onderzoekers of onderzoekers bij het bedrijfsleven, die artikelen willen raadplegen ten behoeve van hun eigen onderzoek.
• Evidence-informed beroepspraktijken, zoals onderwijsprofessionals of beleidsmakers en NGO’s die hun handelen zoveel mogelijk op wetenschappelijke gronden willen baseren.
• Individuele burgers die vanuit belangstelling, studie of voor een belangrijke beslissing wetenschappelijke informatie willen verzamelen.

Wat belemmert deze doelgroepen bij het raadplegen van wetenschappelijke artikelen? Allereerst natuurlijk de betaalmuren, maar de laatste jaren worden internationaal gezien circa de helft van de artikelen Open Access gepubliceerd. Die artikelen kunnen dus zonder meer geraadpleegd worden. Uit onderzoek onder Nederlandse gebruikers blijkt echter dat wetenschappelijk taalgebruik én Engels de belangrijkste drempel vormt: een zogenaamd layman abstract (in lekentaal, al klinkt dat in het Nederlands wat onvriendelijk) zou een grote drempel kunnen wegnemen.

Artificial intelligence schiet te hulp

Op de APE conferentie van afgelopen januari bleken enkele uitgevers hier ook al mee bezig te zijn. Ook presenteerde enkele start-ups zich met deze service. Allen gebruikten AI hiervoor, meestal (nog) onder menselijke supervisie. Naast samenvattingen in lekentaal, werden er ook voorbeelden gepresenteerd van visuele abstracts (een soort infographics) en audio samenvattingen (men had het over ‘conversational audio’). Interessant gegeven voor de auteurs van het artikel: zo’n samenvatting in lekentaal leverde ook veel meer citaties op!

Conclusie: open Access alleen is niet genoeg

Veel van de Open Access discussie gaat over kosten, businessmodellen en andere zaken betreffende de wetenschappelijke wereld zelf. Voor mij was het dan ook de eerste keer om te kijken wat doelgroepen buiten de wetenschappelijke wereld nodig hebben. Duidelijk werd dat OA op zich niet voldoende is: ondersteunende diensten met als belangrijkste dienst samenvattingen in een toegankelijke taal kunnen zorgen voor een bredere toepassing van de wetenschappelijke output. En AI maakt dat een reële en haalbare optie!   

Het volledige rapport is hier te vinden.

Alliance for Digital Society

I carried out a study (23 interviews + desk research) for the Alliance for Digital Society – an organisation that unites multiple parties in order to realise digital inclusion. As Artificial Intelligence rather suddenly came into the spotlight in 2023,  the Alliance wanted to have an insight in its effects on digital inclusion and digital citizenship. The objective of this study is to provide an informative overview of the situation and developments around AI from the perspective of digital inclusion and digital citizenship, enabling the Alliance and its partners to develop potential actions.

AI = system technology

After the launch of ChatGPT in November 2022 it looks like a big hype around AI. However, ChatGPT (and similar programs that are based on foundation models) is not the sole type of AI, speech recognition and computer vision were introduced earlier. The combination of these AI types will have a big impact in all walks of life: AI is a system technology, comparable to the combustion engine or electricity.

AI will help Digital inclusion for many but not all

In the Netherlands, a diverse group of in total an estimated three to four million people (on a total of 18 million) cannot sufficiently keep up with the digital world.

AI can indeed empower some of those groups. AI makes it possible to interact with Internet in different ways than typing and reading. It is and will increasingly become possible to interact with the internet through spoken dialogue, regardless of language. In the words of one respondent who I interviewed for this study: ‘away from the keyboard and away from English’. This will be of enormous help to people with difficulties in writing or reading and to people who are visually handicapped.

However, AI will not be of help to everyone of this group: there will be groups that will never participate in the digital world themselves because they cannot or do not want to. Thus, digital services should always offer human contact as an alternative.

Digital citizenship

What exactly is digital citizenship? In the report, I used a definition from the Rathenau institute, which distinguishes between the individual level (personal benefits), the community level (effects on community cohesion) and the political arena (participation and representation).

At the individual level, AI’s opportunities for digital citizenship lie in applications that assist people (e.g., as personal assistants) or enable new ways to generate computer code or images. For organizations, sectors, or communities, the opportunities primarily lie in applications that enhance efficiency, effectiveness, or customization. Finally, AI offers opportunities for social debate participation through deliberative democracy applications. While this sounds positive, there are significant downsides, as discussed next.

Downsides of AI: the four B’s

The downsides of AI can be summarized with four B’s:

• Bias: The datasets used by AI applications can have an unwanted bias, are often not transparent, are sometimes collected without respect for copyrights and sometimes contain privacy-sensitive data.
• Black box: Generative AI applications like ChatGPT, in particular, use billions of parameters that lead to outcomes that are not reducible and explainable and sometimes are outright nonsense. This is rather dangerous, as people tend to believe what the computer says – the so-called  automation bias.
• Big Tech: Important parts of AI technology are in the hands of a few Big Tech companies. This near-monology makes public institutions increasingly dependent on Big Tech and threatens their digital autonomy.
• Bad actors: Bad actors can use AI applications to produce large amounts of disinformation and deepfake. Alas, AI is also used in cybercrime.

Responsible AI is the answer

The consequences of these downsides are negative effects on human rights and public values. Therefore, a lot of work is being done to include the so-called ELSA aspects [the Ethical, Legal & Societal aspects of AI] in the development, implementation, and use of AI applications. AI that meets the ELSA preconditions is called responsible AI.

A personal note

AI will certainly change our lives in the coming years. Our interaction with computers will transform profoundly, In this respect, I found the image of a Centaur particularly striking: the human should be the head, the computer the legs. However, with AI applications combined with the automation bias, it could become the other way around. With Uber, this is already the case: the Uber app is managing the drivers and to some extent also the passengers.

Praktische insteek

Het is nu 2023 hoor!

De oplettende lezer heeft al het jaartal van 2021 gezien. Het is nu wel al 2023. Wat is er in de tussentijd gebeurd? Het rapport werd 1 maart 2022 opgeleverd. De Rijksdienst Cultureel Erfgoed, die als opdrachtgever optrad, wilde de resultaten graag presenteren in de Erfgoedmonitor. Dit heeft nogal wat vertraging opgelopen (o.a. vanwege personeelstekort). Maar nu is het dan zover en de resultaten zijn te raadplegen in de Erfgoedmonitor.

Drie highlights

Ik wil in deze blog graag drie highlights naar voren halen:

• We maakten in de vragenlijst onderscheid tussen enerzijds erfgoedsites (opgezet om digitaal erfgoed te presenteren) en anderzijds gemengde sites, opgezet voor corporate informatie (zoals de openingstijden van een museum en de prijs van de toegangskaartjes) die ook digitaal erfgoed presenteren. Dit onderscheid bleek terecht: bij een erfgoedsite trekt het digitaal erfgoed gemiddeld 90% van alle gebruik, bij een gemengde site gemiddeld 42%.
• We onderscheiden 5 algemene indicatoren: 4 indicatoren voor gebruik (aantal bezoekers, paginaweergaven, sessies, sessieduur) en 1 voor het aanbod: hoeveel digitale erfgoedobjecten worden op de site aangeboden. Opvallende resultaten: slechts 7% van de sites meet alle 5 indicatoren, 41% (!) houdt helemaal niets bij. Ook opvallend: een meerderheid van de sites weten niet hoeveel digitale erfgoedobjecten zij via de site aanbieden.
• De algemene indicatoren zijn natuurlijk gewoon standaard gebruikscijfers die programma’s als Google Analytics bijhouden. We hebben ook een slag gemaakt om erfgoedtype-gebonden indicatoren op te stellen: voor archiefmaterialen, objecten, verhalen, bibliotheekmaterialen, en audiovisuele materialen. Dit deden we telkens aan de hand van drie vragen: (1) wat hebben we als erfgoedinstelling gedaan; (2) hoe doen we het?; (3) wat is de toegevoegde waarde voor de gebruiker?. Hoe dat precies uitpakt, staat allemaal in het rapport te lezen (zie de link naar het rapport in de Erfgoedmonitor).

Vorige week kwam het bericht dat Leo Waaijers op 85-jarige leeftijd is overleden. Een grote en onverwachte schok omdat ik enkele weken daarvoor nog met hem uit eten was geweest.

In 1988 trad Leo de wereld binnen van de wetenschappelijke bibliotheken, eerst als was bibliothecaris van de TU Delft (waar hij het iconische bibliotheekgebouw van de TU Delft realiseerde – binnen het budget zoals hij graag opmerkte), toen van de Wageningse universiteit, daarna manager bij het SURF platform ‘ICT en onderzoek’. Na deze banen in loondienst werd hij Open Access consultant, richtte QOAM op en werd gastonderzoeker bij het CWTS in Leiden. Leo is nooit met pensioen gegaan!

Leo was een onvermoeibare strijder vóór Open Access en tegen de machtspositie van de grote wetenschappelijke uitgevers. Hij was talloze keren auteur en spreker op congressen, waar hij – vaak licht provocatief – innovatieve ideeën naar voren bracht en voor actie pleitte. En hij was een meester in het bedenken van concrete acties om iets in gang te zetten.

Zijn nalatenschap is dan ook indrukwekkend. Hij scoorde nationale en internationale bekendheid met het opzetten van het succesvolle ‘Keur der wetenschap’ ofwel ‘Cream of Science’. Een initiatief om aan de Open Access repositories van de universiteiten een kwaliteitsimpuls te geven door aan 200 vooraanstaande wetenschappers te vragen of zij al hun wetenschappelijke publicaties daarvoor wilden beschikbaar stellen. Hij ontving daarvoor in 2008 de SPARC Europe Award for Outstanding Achievements in Scholarly Communications. Hierna richtte Leo zijn aandacht op het wetenschappelijke uitgeefproces zelf en richtte Quality Open Access Market op. QOAM is bedoeld om de kwaliteit van een tijdschrift te laten bepalen door de auteurs zelf en daarmee de dominantie van de ’journal impact factor’ van een commerciële partij te doorbreken. Onvermoeibaar als altijd, publiceerde hij samen met collega’s van het CWTS in mei van dit jaar nog een pleidooi om een publicatie-infrastructuur te bouwen buiten de uitgevers om.

Ik ontmoette Leo in 1993 toen ik directeur werd van het toenmalige Nederlands Bureau voor Onderzoeksinformatie (NBOI) en hij als bibliothecaris van de TU Delft in het bestuur zat. Tijdens zijn periode bij SURF heb ik verscheidene opdrachten gedaan, o.a. een grote inventarisatie van repositories in Europa voor het Europese DRIVER project. Toen Leo Open Access consultant werd hebben we een aantal opdrachten samen gedaan en schreven rapporten met titels als ‘Surfboard for Riding the Wave’; ‘Authority files breaking out of the library silo’ en ‘Quality of Research Data, an operational approach’. Tijdens een opdracht bij de bouw van de nieuwe bibliotheek in Birmingham waren we onverwacht snel klaar met de ochtendsessie en hadden nog vele uren voordat ons vliegtuig vertrok. Bij de lunch gingen we helemaal op in ons gesprek met als gevolg dat we het vliegtuig hebben gemist!

De Open Access beweging zal Leo’s ideeën en initiatieven node missen. Hij liep in zijn denken soms wel 20 jaar voor (onder andere met een idee om publiceren en peer review te splitsen – toen heel raar, nu een geaccepteerd idee) en heeft Open Access enorm verder weten te brengen. Hij laat een enorm gat achter, ook in mijn leven – ik zal onze discussies enorm missen!