Blog

A shopping spree for data

Hoe je rekening houdt met de karakteristieken van digitaal erfgoed gebruik

Het Netwerk Digitaal Erfgoed heeft in de afgelopen jaren veel onderzoek laten uitvoeren onder verschillende doelgroepen: het algemeen publiek, professionele gebruikers uit de wetenschap, creatieve industrie en uit de erfgoedsector zelf en in het onderwijs, zowel docenten als leerlingen. Bij elkaar een hele stapel onderzoeksrapporten, waarmee ik zeker 3 dagen zoet ben geweest om ze allemaal door te spitten. Dat doorspitten vond plaats in het kader van een project om deze onderzoeksresultaten te vertalen naar de praktijk: wat betekenen die resultaten voor de inrichting van erfgoedsites. Een eerder project focuste uitsluitend op het onderzoek onder het algemeen publiek en dat project leverde al eerder een handleiding op. Nu was het de bedoeling om àlle onderzoeksresultaten te vertalen.

Ik deed dat samen met een hele enthousiaste werkgroep met de onderzoekers van de gebruikers onderzoeken onder professionals en het onderwijs en met vertegenwoordigers van erfgoedinstellingen met veel praktische ervaring. Het uiteindelijke document omvatte ongeveer 50 pagina’s. Daarvan ongeveer 20 pagina’s met praktische adviezen, een tiental pagina’s met toelichtingen en pagina’s met samenvattingen van de onderzoeksresultaten. Het laatste omdat het onderzoek natuurlijk niet stilstaat en er nieuwe inzichten zullen komen, die dan gemakkelijk te verwerken zijn.

We maakten er een interactieve pdf van om de inhoud op begrijpelijkheid en toepasbaarheid te toetsen bij een aantal potentiële gebruikers. Het uiteindelijke doel was eigenlijk een website. Echter, die interactieve pdf beviel eigenlijk wel en uiteindelijk werd besloten om dat als eindproduct na te streven. Jeroen Reith van Buro Gom maakte een prachtige layout (zie de afbeelding van de voorpagina hieronder) en verzorgde de interactieve pdf tot in de puntjes. Je kan hem hier aanklikken.

Hoe de impact van een erfgoedcollectie verder reikt dan de directe gebruikers

In de afgelopen twee jaar was ik als begeleider betrokken bij een impactonderzoek voor IHLIA dat het erfgoed van de LGBTI gemeenschap bewaart en beheert. IHLIA heeft een theory of change ontwikkeld die beoogt impact te hebben op (1) historisch besef, (2) emancipatie en (3) inzicht op basis van onderzoek. Dit om bij te dragen aan een inclusieve samenleving waarbij lhbti’ers zijn geaccepteerd.

Hoe pak je zo’n impactonderzoek aan? Wij kozen ervoor om een tiental gebruikers van de IHLIA collectie te interviewen rond drie onderwerpen: (1) wat was de bijdrage van de IHLIA-collectie in de totstandkoming van je eindproduct; (2) wat was het bereik van je eindproduct; (3) welke impact op je doelgroepen heeft jouw eindproduct gehad? Twee zaken springen eruit:

Gebruikers van de IHLIA erfgoedcollectie werken aan heel verschillende typen eindproducten: voor geschreven publicaties zoals boeken, rapporten artikelen en blogs, voor tentoonstellingen en events, voor televisie en theaterproducties en sommige geïnterviewden maakten meer dan één eindproduct.

Met al die verschillende eindproducten van slechts 10 IHLIA gebruikers werden en worden grote en kleine groepen mensen bereikt. Een van de geïnterviewden maakte bijvoorbeeld een veelbekeken televisieprogramma, anderen veel gelezen artikelen. Andere eindproducten zoals story telling tours of een theaterproductie bereikten honderden mensen. Als impact op deze groepen werd vooral historisch besef én emancipatie van lhbti’ers genoemd.

De interviews werden uitgevoerd door Susan Brunsting en Eva Boekhoorn in het kader van hun studie en door Marjet van der Heyden, vrijwilliger bij IHLIA. De uitkomsten hebben we verwerkt in 10 case studies en gepubliceerd in de IHLIA Impact brochure. Elco van Staveren van Denkschets maakte een visual dat alles in één plaatje duidelijk maakt

Gedragsprofielen vruchtbare benadering

Het project Klantinzicht van het Netwerk Digitaal Erfgoed nadert zijn afronding. In de zomer 2018 is de voorloper van het project van start gegaan: Chris Groeneveld benaderde me om te kijken of de invalshoek van John Falk voor fysieke musea – namelijk het segmenteren van gedrag van gebruikers in plaats van het segmenteren in gebruikersgroepen – van toepassing zou zijn op digitaal erfgoed. John Falk bestudeerde gedrag van museumbezoekers en maakte onderscheid in verschillende soorten gedrag, dat bezoekers afhankelijk van de context (een bezoek alleen of met kinderen bijvoorbeeld) vertonen.

Gedragsprofielen Digitaal Erfgoed waren het resultaat. We begonnen met een uitgebreide literatuurstudie en een aantal workshops met mensen uit het erfgoedveld. Dit leidde tot de ontwikkeling van de acht Gedragsprofielen. Deze werden ook getoetst: eerst door interviews met gebruikers (de acht dekten de lading van alle soorten gedrag m.b.t. digitaal erfgoed) en door een grote publieksenquête met meer dan 1500 respondenten. Dit vormde de start voor het officiële NDE project Klantinzicht. Met de Gedragsprofielen onder de arm werd er ook een onderzoek uitgevoerd naar de klantreizen naar digitaal erfgoed. 26 personen hebben een week lang elke avond een klantreizen uitgevoerd naar digitaal erfgoed én deze gedocumenteerd. De 75 gedocumenteerde klantreizen gaven een goed beeld van hoe de klantreizen tot stand komen, wat de keuze tussen de erfgoedsites bepaalt en hoe mensen van Gedragsprofielen kunnen switchen.

Wat zouden we nog verder kunnen onderzoeken? Met die vraag organiseerden we digitale denktanksessies tijdens de eerste lockdown met mensen uit het erfgoedveld. Hun reactie was algemeen: ‘Mooi hoor, die onderzoeksresultaten, maar graag een vertaling naar onze praktijk’. Aldus geschiedde: we ontwikkelden een praktische handleiding voor de presentatie van erfgoed op een website voor de kleinere instellingen, we formuleerden functionele specificaties per Gedragsprofiel en keken hoe je die Gedragsprofielen kon meten in de praktijk. De publicaties van het project staan op de website van NDE maar je kan ze ook hieronder vinden.

• Ontwikkeling Gedragsprofielen Digitaal Erfgoed
• Gedragsprofielen Digitaal Erfgoed: samenvatting onderzoeksresultaten
• Klantreizen digitaal erfgoed: samenvatting onderzoeksresultaten
• Gedragsprofielen Digitaal Erfgoed: functionele specificaties
• Maak je erfgoedsite gebruiksvriendelijk: een handleiding

Three studies for the VSNU and dashboards on the scholarly journal landscape

From September 2020 to January 2021 I carried out studies for the VSNU on Open Access: a feasibility study on 100% OA for Dutch research publications and a study into alternative publication platforms . This study led to 3 reports with so many pages that I think not many people have read these in their entirety. The reason for all those pages being that it was a collage of quite different studies: trend analyses, an analysis of the Dutch research publications, interviews with other consortia working on OA, group discussions with stakeholders, and studies on OA monographs and alternative platforms (you can find the 3 reports under publications).

In this blog I would like to highlight the present status of OA in journal articles and focus on the trends and possible developments in OA. For this, I also can use of the dashboards that I made based on the DOAJ data as they are processed by Walt Crawford and that I made based on the data set used by QOAM which includes also hybrid journals.

The trend is clearly up. The figure presents the results of a study by Piwowar, assessing the OA percentages in 2019 and extrapolating the trends to 2025. She expects in 2025 52% Gold or Diamond OA, either in fully OA journals or in hybrid journals. If this trend continues, one can expect that in 2030 about 80% of the articles will be published Gold OA. Thus, mission accomplished? Hopefully yes, but there are two potential problems with this: (1) Will it really increase to 80% and more? (2) If so, does this not create another problem: inequity for authors who cannot pay the publication costs?

Will it really increase to 80% and up? In Europe, albeit that some countries go for the gold route and others for green, one can expect that the trend in Europe will go up. However, the rest of the world might be a different story. In the USA, the HE sector is very decentralised and a mix of public and private institutions. The University of California is the eye-catcher with regard to OA, but the question is how representative it is for the HE-institutes in the USA. China is nowadays the biggest producer of scientific articles in the international journal literature: which direction will they choose to go? These factors make the continuation of the trend in the direction of 100% quite incertain.

Let’s assume that the trend will lead to universal OA. Are we then in the ideal situation? In my view, that depends on the mix between Gold OA journals (the author/institution pays the publication costs) and Diamond journals (a sponsor pays for the publication costs).

If you click on the link above, you will see a dashboard on Gold and Diamond journals. The dashboard is based on the GOAJ5 data by Walt Crawford. You can see two things:

• The top 5, 10 or 25 publishers of 2019 articles mainly have Gold OA journals: an oligopoly similar to the subscription/hybrid journal market appears to be forming in this market.
• The Diamond journal market is very fragmented with lots of (very) small publishers.
• About 39% of the articles in these journals are published in Diamond journals.

Looks like plenty of choice for authors who cannot afford the publication costs, doesn’t it? However, this percentage is misleading: in another dashboard https://www.qoam.eu/qoam-journal-composition you can see that the percentage of articles in Diamond journals with a DOI is down to 7% if you include the articles in hybrid journals. There are two reasons for this: (1) over half of the Diamond journal titles do not give DOI’s to their articles and (2) most articles are (still) published in hybrid journals. Let us suppose that in the situation of universal OA, a mix of 20% Diamond and 80% Gold OA articles would give authors who cannot afford publication costs enough choice to select an adequate publication channel. In that case, there is still a lot of work to do for Diamonds journals/platforms: an increase in article production and a better adherence to standard operational and technical requirements in scholarly publishing (such as DOI’s per article) will be needed. Can I coin a new term here? The fact that many Diamond journal publishers cannot keep up with the rapidly changing operational and technical publication standards is logical: they publish only 1 or 2 journal titles with a shoestring operation. Therefore I propose the term ‘minimum viable publishing unit’, the minimum operation that is needed to keep up with the publishing standards. I do not know what this minimum viable publishing unit would entail. My guess would be that you will need at least two dozen of staff to keep up with the technological side of publishing. Of one thing you can be assured: the debate on how to design an universal Open Access scholarly journal system will continue, if we ever get there…

Asking your questions to the data

During the first lockdown period I learned to work with Microsoft Power BI and the world of big data opened up for me. I used my limited competences to prepare dashboard on two datasets on scholarly journals: (1) the GOAJ5 dataset which is produced by Walt Crawford based on the DOAJ dataset and solely consists of fully Open Access journals (2) the dataset used by Quality Open Access Market, which aggregates data from JournalTOCs, DOAJ and CrossRef, and thus also includes hybrid journals.

The first dashboard I prepared together with Rob Johnson for a presentation at the OASPA conference in 2020 and the results were published at the blog of the site of Research Consulting.

The dashboard is fully interactive and clickable, and, with the Ctrl key, it is possible to click several items simultaneously. With the symbol in the bottom right corner, it is possible to enlarge the dashboard for greater visibility (as circled in red below).

The other dashboard is published at the site of QOAM and republished below:

There are two important differences between the two datasets: the GOAJ dataset does not include hybrid journals and the articles per journal title are hand counted by Walt Crawford (hats off to him!), while the article counts in the QOAM datasets are from CrossRef and thus includes only articles with a DOI.

Both datasets together give a rather accurate view on the journal landscape. However, questions remain: subscription journals are not included (and are estimated to have 6000 titles with about 500,000 articles a year). Also, there are thousands of Chinese and Japanese journal titles (J-Stage, Kiyo), often in their languages, some with English-language abstracts (and quite a lot are OA) that seem not included in these datasets. This also might explain the discrepancy between the total number of articles in these datasets (QOAM counts 2.1 million articles for the year 2019) and what Dimensions.ai shows (4.3 million articles in 2019). Another question is which journals are truly international. For example, Dutch authors publish only in about 10,000 journal titles of the about 40,000 journal titles. Clearly, there is more to study on the scholarly journal landscape and surely more dashboards will follow.