eprintid: 36254
rev_number: 33
eprint_status: archive
userid: 8572
dir: disk0/00/03/62/54
datestamp: 2025-03-21 14:20:25
lastmod: 2025-04-10 11:58:11
status_changed: 2025-03-21 14:20:25
type: conferenceObject
metadata_visibility: show
creators_name: Hofmann, Stefan
creators_name: Hoppe, Michael
creators_name: Soltau, Kerstin
creators_name: Bach, Felix
creators_name: Razum, Matthias
title: Machen Sie Ihre Metadaten sichtbar! FIZ-OAI - Eine skalierbare Open-Source-Implementierung zur Aggregation und Dissemination von Metadaten mit OAI-PMH
subjects: ddc-004
divisions: i-704000
pres_type: poster
abstract: FIZ-OAI ist ein selbst entwickelter, leistungsstarker OAI-Provider zur Aggregation und Dissemination von Metadaten aus Repositorien und Forschungsdateninfrastrukturen. FIZ Karlsruhe betreibt mehrere Instanzen dieser Software für die Bereitstellung großer Mengen an Metadaten aus Diensten wie z.B. der Deutschen Digitalen Bibliothek (DDB), dem Forschungsdatenrepositorium RADAR, sowie für Thieme Connect, die Online-Plattform für elektronische Publikationen der Thieme Gruppe. Weitere Instanzen werden u.a. aktuell für NFDI4Chem und zbMath Open aufgebaut. Übergeordnete Aggregatoren wie CrossRef, die Deutsche Nationalbibliothek (DNB), Europeana, EUDAT und B2Find nutzen die OAI-PMH-Schnittstellen dieser Dienste, um Millionen von Metadaten zu harvesten und so die Sichtbarkeit und Auffindbarkeit der Daten zu erhöhen. Trotz des Alters der OAI-PMH-Spezifikation (V1.0 stammt aus 2001) und zahlreicher technischer Alternativen, die mittlerweile existieren, wird dieses Protokoll in der wissenschaftlichen Informationslandschaft noch intensiv genutzt, u.a. von großen Infrastrukturen für Forschungsdaten wie DataCite und Zenodo.

Die bis dahin von uns eingesetzten bzw. verfügbaren Open-Source-Lösungen genügten nicht unseren Anforderungen, v. a. hinsichtlich der notwendigen Skalierbarkeit und der Sicherheit und Wartbarkeit der Software.  Bei der im Jahr 2019 begonnenen Entwicklung von FIZ-OAI standen folgende Ziele im Fokus: Einfachheit, Robustheit, Skalierbarkeit sowie vollständige Implementierung der OAI-PMH Spezifikation und Bereitstellung als Open Source-Software. Die Software sollte es wissenschaftlichen Repositorien ermöglichen, ihre Metadaten auf einfachem Wege bereitzustellen und so die Vernetzung und Interoperabilität von Diensten und deren vielfältigen Inhalten (Forschungsdaten, Digitalisate, Fachartikel usw.) zu fördern.

Wir entwickeln die Software in der Programmiersprache Java. Der Quelltext ist auf Github gehostet und unter der Apache 2.0 Lizenz frei verfügbar. FIZ-OAI besteht aus zwei Komponenten: einem Frontend (FIZ-OAI-Provider) und einem Backend (FIZ-OAI-Backend). Sie lassen sich als Docker Images sehr leicht im lokalen Rechenzentrum oder in der Cloud aufsetzen und betreiben. 

Das FIZ-OAI-Backend nutzt Cassandra als Persistenzschicht und ElasticSearch bzw. Solr für die Suche. Dank dieser clusterfähigen Technologien skaliert der OAI-Provider in den Bereich vieler Millionen Dokumente. Thieme Connect stellt mehr als eine Millionen, die DDB sogar mehr als 50 Millionen XML-Dokumente via FIZ-OAI zum Harvesten bereit.

Die Software unterstützt neben dem im Standard vorgeschriebenen Dublin Core weitere frei definierbare Metadatenformate im XML-Format. Solche alternativen Formate können gezielt über sogenannte Sets aggregiert und für spezifische Communities bereitgestellt werden. Via XSLT-Transformationen (auch Crosswalks genannt) können Betreiber dynamisch neue Formate verwalten und ausliefern. 

Auf dem Poster erläutern wir die Features der Software sowie deren Architektur, stellen die aktuellen Anwendungsfälle vor und diskutieren mögliche Szenarien für die Nachnutzung wie auch der Beteiligung an der Weiterentwicklung des OAI-Providers.
date: 2025
id_scheme: DOI
id_number: 10.11588/heidok.00036254
official_url: https://doi.org/10.5281/zenodo.15049823
collection: c-62
ppn_swb: 1920446478
own_urn: urn:nbn:de:bsz:16-heidok-362544
language: ger
bibsort: HOFMANNSTEFIZOAIEINE20250314
full_text_status: public
place_of_pub: Heidelberg
pages: 1
event_title: E-Science-Tage 2025
event_location: Universität Heidelberg
event_dates: 12.03.2025 - 14.03.2025
citation:   Hofmann, Stefan ; Hoppe, Michael ; Soltau, Kerstin ; Bach, Felix ; Razum, Matthias  (2025) Machen Sie Ihre Metadaten sichtbar! FIZ-OAI - Eine skalierbare Open-Source-Implementierung zur Aggregation und Dissemination von Metadaten mit OAI-PMH.  [Conference Item]     
document_url: https://archiv.ub.uni-heidelberg.de/volltextserver/36254/2/FIZ-OAI_Metadaten_sichtbar_2025.pdf