Vorschau

PDF, Deutsch - Hauptdokument Download (468kB) | Lizenz: Machen Sie Ihre Metadaten sichtbar! FIZ-OAI - Eine skalierbare Open-Source-Implementierung zur Aggregation und Dissemination von Metadaten mit OAI-PMH von Hofmann, Stefan ; Hoppe, Michael ; Soltau, Kerstin ; Bach, Felix ; Razum, Matthias steht unter einer Creative Commons Namensnennung 4.0

Abstract

FIZ-OAI ist ein selbst entwickelter, leistungsstarker OAI-Provider zur Aggregation und Dissemination von Metadaten aus Repositorien und Forschungsdateninfrastrukturen. FIZ Karlsruhe betreibt mehrere Instanzen dieser Software für die Bereitstellung großer Mengen an Metadaten aus Diensten wie z.B. der Deutschen Digitalen Bibliothek (DDB), dem Forschungsdatenrepositorium RADAR, sowie für Thieme Connect, die Online-Plattform für elektronische Publikationen der Thieme Gruppe. Weitere Instanzen werden u.a. aktuell für NFDI4Chem und zbMath Open aufgebaut. Übergeordnete Aggregatoren wie CrossRef, die Deutsche Nationalbibliothek (DNB), Europeana, EUDAT und B2Find nutzen die OAI-PMH-Schnittstellen dieser Dienste, um Millionen von Metadaten zu harvesten und so die Sichtbarkeit und Auffindbarkeit der Daten zu erhöhen. Trotz des Alters der OAI-PMH-Spezifikation (V1.0 stammt aus 2001) und zahlreicher technischer Alternativen, die mittlerweile existieren, wird dieses Protokoll in der wissenschaftlichen Informationslandschaft noch intensiv genutzt, u.a. von großen Infrastrukturen für Forschungsdaten wie DataCite und Zenodo.

Die bis dahin von uns eingesetzten bzw. verfügbaren Open-Source-Lösungen genügten nicht unseren Anforderungen, v. a. hinsichtlich der notwendigen Skalierbarkeit und der Sicherheit und Wartbarkeit der Software. Bei der im Jahr 2019 begonnenen Entwicklung von FIZ-OAI standen folgende Ziele im Fokus: Einfachheit, Robustheit, Skalierbarkeit sowie vollständige Implementierung der OAI-PMH Spezifikation und Bereitstellung als Open Source-Software. Die Software sollte es wissenschaftlichen Repositorien ermöglichen, ihre Metadaten auf einfachem Wege bereitzustellen und so die Vernetzung und Interoperabilität von Diensten und deren vielfältigen Inhalten (Forschungsdaten, Digitalisate, Fachartikel usw.) zu fördern.

Wir entwickeln die Software in der Programmiersprache Java. Der Quelltext ist auf Github gehostet und unter der Apache 2.0 Lizenz frei verfügbar. FIZ-OAI besteht aus zwei Komponenten: einem Frontend (FIZ-OAI-Provider) und einem Backend (FIZ-OAI-Backend). Sie lassen sich als Docker Images sehr leicht im lokalen Rechenzentrum oder in der Cloud aufsetzen und betreiben.

Das FIZ-OAI-Backend nutzt Cassandra als Persistenzschicht und ElasticSearch bzw. Solr für die Suche. Dank dieser clusterfähigen Technologien skaliert der OAI-Provider in den Bereich vieler Millionen Dokumente. Thieme Connect stellt mehr als eine Millionen, die DDB sogar mehr als 50 Millionen XML-Dokumente via FIZ-OAI zum Harvesten bereit.

Die Software unterstützt neben dem im Standard vorgeschriebenen Dublin Core weitere frei definierbare Metadatenformate im XML-Format. Solche alternativen Formate können gezielt über sogenannte Sets aggregiert und für spezifische Communities bereitgestellt werden. Via XSLT-Transformationen (auch Crosswalks genannt) können Betreiber dynamisch neue Formate verwalten und ausliefern.

Auf dem Poster erläutern wir die Features der Software sowie deren Architektur, stellen die aktuellen Anwendungsfälle vor und diskutieren mögliche Szenarien für die Nachnutzung wie auch der Beteiligung an der Weiterentwicklung des OAI-Providers.