Praktische insteek

Het is nu 2023 hoor!

De oplettende lezer heeft al het jaartal van 2021 gezien. Het is nu wel al 2023. Wat is er in de tussentijd gebeurd? Het rapport werd 1 maart 2022 opgeleverd. De Rijksdienst Cultureel Erfgoed, die als opdrachtgever optrad, wilde de resultaten graag presenteren in de Erfgoedmonitor. Dit heeft nogal wat vertraging opgelopen (o.a. vanwege personeelstekort). Maar nu is het dan zover en de resultaten zijn te raadplegen in de Erfgoedmonitor.

Drie highlights

Ik wil in deze blog graag drie highlights naar voren halen:

• We maakten in de vragenlijst onderscheid tussen enerzijds erfgoedsites (opgezet om digitaal erfgoed te presenteren) en anderzijds gemengde sites, opgezet voor corporate informatie (zoals de openingstijden van een museum en de prijs van de toegangskaartjes) die ook digitaal erfgoed presenteren. Dit onderscheid bleek terecht: bij een erfgoedsite trekt het digitaal erfgoed gemiddeld 90% van alle gebruik, bij een gemengde site gemiddeld 42%.
• We onderscheiden 5 algemene indicatoren: 4 indicatoren voor gebruik (aantal bezoekers, paginaweergaven, sessies, sessieduur) en 1 voor het aanbod: hoeveel digitale erfgoedobjecten worden op de site aangeboden. Opvallende resultaten: slechts 7% van de sites meet alle 5 indicatoren, 41% (!) houdt helemaal niets bij. Ook opvallend: een meerderheid van de sites weten niet hoeveel digitale erfgoedobjecten zij via de site aanbieden.
• De algemene indicatoren zijn natuurlijk gewoon standaard gebruikscijfers die programma’s als Google Analytics bijhouden. We hebben ook een slag gemaakt om erfgoedtype-gebonden indicatoren op te stellen: voor archiefmaterialen, objecten, verhalen, bibliotheekmaterialen, en audiovisuele materialen. Dit deden we telkens aan de hand van drie vragen: (1) wat hebben we als erfgoedinstelling gedaan; (2) hoe doen we het?; (3) wat is de toegevoegde waarde voor de gebruiker?. Hoe dat precies uitpakt, staat allemaal in het rapport te lezen (zie de link naar het rapport in de Erfgoedmonitor).

Vorige week kwam het bericht dat Leo Waaijers op 85-jarige leeftijd is overleden. Een grote en onverwachte schok omdat ik enkele weken daarvoor nog met hem uit eten was geweest.

In 1988 trad Leo de wereld binnen van de wetenschappelijke bibliotheken, eerst als was bibliothecaris van de TU Delft (waar hij het iconische bibliotheekgebouw van de TU Delft realiseerde – binnen het budget zoals hij graag opmerkte), toen van de Wageningse universiteit, daarna manager bij het SURF platform ‘ICT en onderzoek’. Na deze banen in loondienst werd hij Open Access consultant, richtte QOAM op en werd gastonderzoeker bij het CWTS in Leiden. Leo is nooit met pensioen gegaan!

Leo was een onvermoeibare strijder vóór Open Access en tegen de machtspositie van de grote wetenschappelijke uitgevers. Hij was talloze keren auteur en spreker op congressen, waar hij – vaak licht provocatief – innovatieve ideeën naar voren bracht en voor actie pleitte. En hij was een meester in het bedenken van concrete acties om iets in gang te zetten.

Zijn nalatenschap is dan ook indrukwekkend. Hij scoorde nationale en internationale bekendheid met het opzetten van het succesvolle ‘Keur der wetenschap’ ofwel ‘Cream of Science’. Een initiatief om aan de Open Access repositories van de universiteiten een kwaliteitsimpuls te geven door aan 200 vooraanstaande wetenschappers te vragen of zij al hun wetenschappelijke publicaties daarvoor wilden beschikbaar stellen. Hij ontving daarvoor in 2008 de SPARC Europe Award for Outstanding Achievements in Scholarly Communications. Hierna richtte Leo zijn aandacht op het wetenschappelijke uitgeefproces zelf en richtte Quality Open Access Market op. QOAM is bedoeld om de kwaliteit van een tijdschrift te laten bepalen door de auteurs zelf en daarmee de dominantie van de ’journal impact factor’ van een commerciële partij te doorbreken. Onvermoeibaar als altijd, publiceerde hij samen met collega’s van het CWTS in mei van dit jaar nog een pleidooi om een publicatie-infrastructuur te bouwen buiten de uitgevers om.

Ik ontmoette Leo in 1993 toen ik directeur werd van het toenmalige Nederlands Bureau voor Onderzoeksinformatie (NBOI) en hij als bibliothecaris van de TU Delft in het bestuur zat. Tijdens zijn periode bij SURF heb ik verscheidene opdrachten gedaan, o.a. een grote inventarisatie van repositories in Europa voor het Europese DRIVER project. Toen Leo Open Access consultant werd hebben we een aantal opdrachten samen gedaan en schreven rapporten met titels als ‘Surfboard for Riding the Wave’; ‘Authority files breaking out of the library silo’ en ‘Quality of Research Data, an operational approach’. Tijdens een opdracht bij de bouw van de nieuwe bibliotheek in Birmingham waren we onverwacht snel klaar met de ochtendsessie en hadden nog vele uren voordat ons vliegtuig vertrok. Bij de lunch gingen we helemaal op in ons gesprek met als gevolg dat we het vliegtuig hebben gemist!

De Open Access beweging zal Leo’s ideeën en initiatieven node missen. Hij liep in zijn denken soms wel 20 jaar voor (onder andere met een idee om publiceren en peer review te splitsen – toen heel raar, nu een geaccepteerd idee) en heeft Open Access enorm verder weten te brengen. Hij laat een enorm gat achter, ook in mijn leven – ik zal onze discussies enorm missen!

A shopping spree for data

Asking your questions to the data

During the first lockdown period I learned to work with Microsoft Power BI and the world of big data opened up for me. I used my limited competences to prepare dashboard on two datasets on scholarly journals: (1) the GOAJ5 dataset which is produced by Walt Crawford based on the DOAJ dataset and solely consists of fully Open Access journals (2) the dataset used by Quality Open Access Market, which aggregates data from JournalTOCs, DOAJ and CrossRef, and thus also includes hybrid journals.

The first dashboard I prepared together with Rob Johnson for a presentation at the OASPA conference in 2020 and the results were published at the blog of the site of Research Consulting.

The dashboard is fully interactive and clickable, and, with the Ctrl key, it is possible to click several items simultaneously. With the symbol in the bottom right corner, it is possible to enlarge the dashboard for greater visibility (as circled in red below).

The other dashboard is published at the site of QOAM and republished below:

There are two important differences between the two datasets: the GOAJ dataset does not include hybrid journals and the articles per journal title are hand counted by Walt Crawford (hats off to him!), while the article counts in the QOAM datasets are from CrossRef and thus includes only articles with a DOI.

Both datasets together give a rather accurate view on the journal landscape. However, questions remain: subscription journals are not included (and are estimated to have 6000 titles with about 500,000 articles a year). Also, there are thousands of Chinese and Japanese journal titles (J-Stage, Kiyo), often in their languages, some with English-language abstracts (and quite a lot are OA) that seem not included in these datasets. This also might explain the discrepancy between the total number of articles in these datasets (QOAM counts 2.1 million articles for the year 2019) and what Dimensions.ai shows (4.3 million articles in 2019). Another question is which journals are truly international. For example, Dutch authors publish only in about 10,000 journal titles of the about 40,000 journal titles. Clearly, there is more to study on the scholarly journal landscape and surely more dashboards will follow.

Three studies for the VSNU and dashboards on the scholarly journal landscape

From September 2020 to January 2021 I carried out studies for the VSNU on Open Access: a feasibility study on 100% OA for Dutch research publications and a study into alternative publication platforms . This study led to 3 reports with so many pages that I think not many people have read these in their entirety. The reason for all those pages being that it was a collage of quite different studies: trend analyses, an analysis of the Dutch research publications, interviews with other consortia working on OA, group discussions with stakeholders, and studies on OA monographs and alternative platforms (you can find the 3 reports under publications).

In this blog I would like to highlight the present status of OA in journal articles and focus on the trends and possible developments in OA. For this, I also can use of the dashboards that I made based on the DOAJ data as they are processed by Walt Crawford and that I made based on the data set used by QOAM which includes also hybrid journals.

The trend is clearly up. The figure presents the results of a study by Piwowar, assessing the OA percentages in 2019 and extrapolating the trends to 2025. She expects in 2025 52% Gold or Diamond OA, either in fully OA journals or in hybrid journals. If this trend continues, one can expect that in 2030 about 80% of the articles will be published Gold OA. Thus, mission accomplished? Hopefully yes, but there are two potential problems with this: (1) Will it really increase to 80% and more? (2) If so, does this not create another problem: inequity for authors who cannot pay the publication costs?

Will it really increase to 80% and up? In Europe, albeit that some countries go for the gold route and others for green, one can expect that the trend in Europe will go up. However, the rest of the world might be a different story. In the USA, the HE sector is very decentralised and a mix of public and private institutions. The University of California is the eye-catcher with regard to OA, but the question is how representative it is for the HE-institutes in the USA. China is nowadays the biggest producer of scientific articles in the international journal literature: which direction will they choose to go? These factors make the continuation of the trend in the direction of 100% quite incertain.

Let’s assume that the trend will lead to universal OA. Are we then in the ideal situation? In my view, that depends on the mix between Gold OA journals (the author/institution pays the publication costs) and Diamond journals (a sponsor pays for the publication costs).

If you click on the link above, you will see a dashboard on Gold and Diamond journals. The dashboard is based on the GOAJ5 data by Walt Crawford. You can see two things:

• The top 5, 10 or 25 publishers of 2019 articles mainly have Gold OA journals: an oligopoly similar to the subscription/hybrid journal market appears to be forming in this market.
• The Diamond journal market is very fragmented with lots of (very) small publishers.
• About 39% of the articles in these journals are published in Diamond journals.

Looks like plenty of choice for authors who cannot afford the publication costs, doesn’t it? However, this percentage is misleading: in another dashboard https://www.qoam.eu/qoam-journal-composition you can see that the percentage of articles in Diamond journals with a DOI is down to 7% if you include the articles in hybrid journals. There are two reasons for this: (1) over half of the Diamond journal titles do not give DOI’s to their articles and (2) most articles are (still) published in hybrid journals. Let us suppose that in the situation of universal OA, a mix of 20% Diamond and 80% Gold OA articles would give authors who cannot afford publication costs enough choice to select an adequate publication channel. In that case, there is still a lot of work to do for Diamonds journals/platforms: an increase in article production and a better adherence to standard operational and technical requirements in scholarly publishing (such as DOI’s per article) will be needed. Can I coin a new term here? The fact that many Diamond journal publishers cannot keep up with the rapidly changing operational and technical publication standards is logical: they publish only 1 or 2 journal titles with a shoestring operation. Therefore I propose the term ‘minimum viable publishing unit’, the minimum operation that is needed to keep up with the publishing standards. I do not know what this minimum viable publishing unit would entail. My guess would be that you will need at least two dozen of staff to keep up with the technological side of publishing. Of one thing you can be assured: the debate on how to design an universal Open Access scholarly journal system will continue, if we ever get there…

Gedragsprofielen vruchtbare benadering

Het project Klantinzicht van het Netwerk Digitaal Erfgoed nadert zijn afronding. In de zomer 2018 is de voorloper van het project van start gegaan: Chris Groeneveld benaderde me om te kijken of de invalshoek van John Falk voor fysieke musea – namelijk het segmenteren van gedrag van gebruikers in plaats van het segmenteren in gebruikersgroepen – van toepassing zou zijn op digitaal erfgoed. John Falk bestudeerde gedrag van museumbezoekers en maakte onderscheid in verschillende soorten gedrag, dat bezoekers afhankelijk van de context (een bezoek alleen of met kinderen bijvoorbeeld) vertonen.

Gedragsprofielen Digitaal Erfgoed waren het resultaat. We begonnen met een uitgebreide literatuurstudie en een aantal workshops met mensen uit het erfgoedveld. Dit leidde tot de ontwikkeling van de acht Gedragsprofielen. Deze werden ook getoetst: eerst door interviews met gebruikers (de acht dekten de lading van alle soorten gedrag m.b.t. digitaal erfgoed) en door een grote publieksenquête met meer dan 1500 respondenten. Dit vormde de start voor het officiële NDE project Klantinzicht. Met de Gedragsprofielen onder de arm werd er ook een onderzoek uitgevoerd naar de klantreizen naar digitaal erfgoed. 26 personen hebben een week lang elke avond een klantreizen uitgevoerd naar digitaal erfgoed én deze gedocumenteerd. De 75 gedocumenteerde klantreizen gaven een goed beeld van hoe de klantreizen tot stand komen, wat de keuze tussen de erfgoedsites bepaalt en hoe mensen van Gedragsprofielen kunnen switchen.

Wat zouden we nog verder kunnen onderzoeken? Met die vraag organiseerden we digitale denktanksessies tijdens de eerste lockdown met mensen uit het erfgoedveld. Hun reactie was algemeen: ‘Mooi hoor, die onderzoeksresultaten, maar graag een vertaling naar onze praktijk’. Aldus geschiedde: we ontwikkelden een praktische handleiding voor de presentatie van erfgoed op een website voor de kleinere instellingen, we formuleerden functionele specificaties per Gedragsprofiel en keken hoe je die Gedragsprofielen kon meten in de praktijk. De publicaties van het project staan op de website van NDE maar je kan ze ook hieronder vinden.

• Ontwikkeling Gedragsprofielen Digitaal Erfgoed
• Gedragsprofielen Digitaal Erfgoed: samenvatting onderzoeksresultaten
• Klantreizen digitaal erfgoed: samenvatting onderzoeksresultaten
• Gedragsprofielen Digitaal Erfgoed: functionele specificaties
• Maak je erfgoedsite gebruiksvriendelijk: een handleiding