Pleiade

Management & Consultancy

Maurits van der Graaf

APCs in the (French) wild

by

A shopping spree for data

My French colleagues Antoine Blanchard and Diane Thierry (from Datactivist) and me had the opportunity to do a study on APC costs for the French Ministry of Higher Education and Research (MESR).

Our proposal – to build a dataset with articles by French authors from the ground up and use that for a calculation of the APC costs – was accepted. We had a plan to do this, but – as is the case with many plans – we had to adjust it many times to circumvent unexpected obstacles.

It became a shopping spree for data. We started with data from the French Open Science Barometer (BSO). They delivered data of all journal articles with a French author for the year 2013-2020. This we put in our shopping cart (my colleague Diane did all the shopping cart work with R) and started shopping around for more relevant data.

Who are the corresponding authors? We shopped these data from the Web of Science. Which articles were Open Access published in Gold or Hybrid journals? We shopped these data from OpenAlex. Couperin gave us a dataset with journal titles they had contracts with and with DOAJ and QOAM data we identified hybrid, Gold and Diamond journal titles. BSO already had made the connection with OPEN APC data for the prices. I have to admit that sometimes our shopping efforts failed: we had originally misunderstood the exact data set-up of some datasets so that incorporation was not possible.

However, in the end we were able to reach our goal: a dataset with trustworthy data of articles by French authors from 2012 to 2020. This made a retrospective analysis possible and based upon that Antoine and Diane built a model with R for a prospective analysis.

Our whole data shopping spree and the analyses made it a super interesting study, while – I think – the results have interesting implications for the future. I show below the main results.

You see in the picture that – if all trends as seen in 2012 to 2020 continue unchanged – the French institutions will pay around €50 million in 2030 on APCs in the wild (the red line). We also made – with the help of Couperin – an estimate of the subscription expenditures in that year (the grey line). Finally we calculated the cost in a fully Open Access world, which we defined as 90% APC-paid OA and 10% Diamond OA.

Personally I found it very interesting that the hybrid situation (subscriptions and APCs in the wild) would cost around 150 million euro in 2030, while the full OA situation would take around 170 million of APC payments. Not much of a difference if you take into account all the margins of error of these calculations.

Let me finish with a warning: predicting the future is always a tricky business. However, with using a lot of data and some modelling, we noticed at presentations that some people think these predictions are absolutely sure to happen. But in reality, these predictions are based on the 2013-2020 data and are nothing more (or less) that extending the trend-lines of that period, albeit with a very complicated statistical model.

For more information, see the poster or the full report. In France the study has led to a newspaper article in Le Monde

Erfgoedsites inrichten

by

Hoe je rekening houdt met de karakteristieken van digitaal erfgoed gebruik

Het Netwerk Digitaal Erfgoed heeft in de afgelopen jaren veel onderzoek laten uitvoeren onder verschillende doelgroepen: het algemeen publiek, professionele gebruikers uit de wetenschap, creatieve industrie en uit de erfgoedsector zelf en in het onderwijs, zowel docenten als leerlingen. Bij elkaar een hele stapel onderzoeksrapporten, waarmee ik zeker 3 dagen zoet ben geweest om ze allemaal door te spitten. Dat doorspitten vond plaats in het kader van een project om deze onderzoeksresultaten te vertalen naar de praktijk: wat betekenen die resultaten voor de inrichting van erfgoedsites. Een eerder project focuste uitsluitend op het onderzoek onder het algemeen publiek en dat project leverde al eerder een handleiding op. Nu was het de bedoeling om àlle onderzoeksresultaten te vertalen.

Ik deed dat samen met een hele enthousiaste werkgroep met de onderzoekers van de gebruikers onderzoeken onder professionals en het onderwijs en met vertegenwoordigers van erfgoedinstellingen met veel praktische ervaring. Het uiteindelijke document omvatte ongeveer 50 pagina’s. Daarvan ongeveer 20 pagina’s met praktische adviezen, een tiental pagina’s met toelichtingen en pagina’s met samenvattingen van de onderzoeksresultaten. Het laatste omdat het onderzoek natuurlijk niet stilstaat en er nieuwe inzichten zullen komen, die dan gemakkelijk te verwerken zijn.

We maakten er een interactieve pdf van om de inhoud op begrijpelijkheid en toepasbaarheid te toetsen bij een aantal potentiële gebruikers. Het uiteindelijke doel was eigenlijk een website. Echter, die interactieve pdf beviel eigenlijk wel en uiteindelijk werd besloten om dat als eindproduct na te streven. Jeroen Reith van Buro Gom maakte een prachtige layout (zie de afbeelding van de voorpagina hieronder) en verzorgde de interactieve pdf tot in de puntjes. Je kan hem hier aanklikken.

Onderzoek naar de impact van de IHLIA erfgoedcollectie

by

Hoe de impact van een erfgoedcollectie verder reikt dan de directe gebruikers

In de afgelopen twee jaar was ik als begeleider betrokken bij een impactonderzoek voor IHLIA dat het erfgoed van de LGBTI gemeenschap bewaart en beheert. IHLIA heeft een theory of change ontwikkeld die beoogt impact te hebben op (1) historisch besef, (2) emancipatie en (3) inzicht op basis van onderzoek. Dit om bij te dragen aan een inclusieve samenleving waarbij lhbti’ers zijn geaccepteerd.

Hoe pak je zo’n impactonderzoek aan? Wij kozen ervoor om een tiental gebruikers van de IHLIA collectie te interviewen rond drie onderwerpen: (1) wat was de bijdrage van de IHLIA-collectie in de totstandkoming van je eindproduct; (2) wat was het bereik van je eindproduct; (3) welke impact op je doelgroepen heeft jouw eindproduct gehad? Twee zaken springen eruit:

Diversiteit eindproducten

Gebruikers van de IHLIA erfgoedcollectie werken aan heel verschillende typen eindproducten: voor geschreven publicaties zoals boeken, rapporten artikelen en blogs, voor tentoonstellingen en events, voor televisie en theaterproducties en sommige geïnterviewden maakten meer dan één eindproduct.

Multiplier effect

Met al die verschillende eindproducten van slechts 10 IHLIA gebruikers werden en worden grote en kleine groepen mensen bereikt. Een van de geïnterviewden maakte bijvoorbeeld een veelbekeken televisieprogramma, anderen veel gelezen artikelen. Andere eindproducten zoals story telling tours of een theaterproductie bereikten honderden mensen. Als impact op deze groepen werd vooral historisch besef én emancipatie van lhbti’ers genoemd.

De interviews werden uitgevoerd door Susan Brunsting en Eva Boekhoorn in het kader van hun studie en door Marjet van der Heyden, vrijwilliger bij IHLIA. De uitkomsten hebben we verwerkt in 10 case studies en gepubliceerd in de IHLIA Impact brochure. Elco van Staveren van Denkschets maakte een visual dat alles in één plaatje duidelijk maakt

WLIC 2021 survey results

by

Hybrid WLIC

Usage of the dashboards

The dashboard is fully interactive and clickable, and, with the Ctrl key, it is possible to click several items simultaneously. With the symbol in the bottom right corner, it is possible to enlarge the dashboard for greater visibility (as circled in red below).

Gebruikersgedrag bij Digitaal Erfgoed

by

Gedragsprofielen vruchtbare benadering

Het project Klantinzicht van het Netwerk Digitaal Erfgoed nadert zijn afronding. In de zomer 2018 is de voorloper van het project van start gegaan: Chris Groeneveld benaderde me om te kijken of de invalshoek van John Falk voor fysieke musea – namelijk het segmenteren van gedrag van gebruikers in plaats van het segmenteren in gebruikersgroepen – van toepassing zou zijn op digitaal erfgoed. John Falk bestudeerde gedrag van museumbezoekers en maakte onderscheid in verschillende soorten gedrag, dat bezoekers afhankelijk van de context (een bezoek alleen of met kinderen bijvoorbeeld) vertonen.

Gedragsprofielen Digitaal Erfgoed waren het resultaat. We begonnen met een uitgebreide literatuurstudie en een aantal workshops met mensen uit het erfgoedveld. Dit leidde tot de ontwikkeling van de acht Gedragsprofielen. Deze werden ook getoetst: eerst door interviews met gebruikers (de acht dekten de lading van alle soorten gedrag m.b.t. digitaal erfgoed) en door een grote publieksenquête met meer dan 1500 respondenten. Dit vormde de start voor het officiële NDE project Klantinzicht. Met de Gedragsprofielen onder de arm werd er ook een onderzoek uitgevoerd naar de klantreizen naar digitaal erfgoed. 26 personen hebben een week lang elke avond een klantreizen uitgevoerd naar digitaal erfgoed én deze gedocumenteerd. De 75 gedocumenteerde klantreizen gaven een goed beeld van hoe de klantreizen tot stand komen, wat de keuze tussen de erfgoedsites bepaalt en hoe mensen van Gedragsprofielen kunnen switchen.

Wat zouden we nog verder kunnen onderzoeken? Met die vraag organiseerden we digitale denktanksessies tijdens de eerste lockdown met mensen uit het erfgoedveld. Hun reactie was algemeen: ‘Mooi hoor, die onderzoeksresultaten, maar graag een vertaling naar onze praktijk’. Aldus geschiedde: we ontwikkelden een praktische handleiding voor de presentatie van erfgoed op een website voor de kleinere instellingen, we formuleerden functionele specificaties per Gedragsprofiel en keken hoe je die Gedragsprofielen kon meten in de praktijk. De publicaties van het project staan op de website van NDE maar je kan ze ook hieronder vinden.