Archiv der Kategorie: Forschungsdaten

Mit vereinten Kräften. Ergebnisbericht einer Zusammenarbeit des ZDL mit CLARIAH-DE im Kontext der kollaborativen Anreicherung von Metadaten

Einleitung

Ein Schwerpunkt des vom BMBF geförderten Verbundprojekts CLARIAH-DE (Förderzeitraum: 2019 bis 2021) bestand in der Abstimmung von gemeinsamen Standards und Verfahren für die Erstellung, Aufbereitung und Archivierung von Daten und Werkzeugen. Eine Arbeitsgruppe an der BBAW befasste sich im Arbeitspaket „Forschungsdaten, Standards und Verfahren“ mit der Zusammenführung und Homogenisierung digitaler Datenbestände. Dazu wurden ausgewählte TEI-Ressourcen des TextGrid Repository im Hinblick auf eine Integration in die Infrastruktur des Deutschen Textarchivs (DTA) evaluiert. Das Ziel bestand darin, substantielle Teile der ursprünglich von Directmedia Publishing GmbH digitalisierten „Digitalen Bibliothek“ in das Basisformat des Deutschen Textarchivs (DTABf) zu  transformieren und den Datensatz v.a. im Bereich der Metadaten qualitativ aufzuwerten. Das Ergebnis ist ein neues, in die DTA-Infrastruktur integriertes Textkorpus, das DiBiLit-Korpus.

Das ebenfalls seit 2019 vom BMBF in der Aufbauphase finanzierte Zentrum für digitale Lexikographie der deutschen Sprache (ZDL) hat u.a. zum Ziel, verlässlich und umfassend den deutschen Wortschatz und damit auch seine Varietäten – d.h. regionale und stilistische Varianten – zu beschreiben. Eine wichtige Säule für diese Beschreibung des deutschen Wortschatzes im Wörterbuch besteht in Textkorpora als empirischer Grundlage: „Ein Gutteil der lexikographischen Arbeit besteht darin, die Bedeutungsbeschreibungen der Wortartikel aus den Verwendungen in den Textkorpora abzuleiten.“ (Geyken 2019, 37)

Um Aussagen darüber treffen zu können, aus welchem Kontext dieses oder jenes Wort stammt, wird dabei die Zuordnung zu bestimmten Textkategorien von großer Bedeutung sein. Zudem interessiert neben der Frage, „was“ ein Wort bedeutet, natürlich auch der zeitliche Verwendungsrahmen, also die Frage, „wann“ dieses Wort verwendet wurde. Diese und weitere Kriterien werden bei der Anreicherung vorhandener sowie der Erstellung neuer Textkorpora zu berücksichtigen sein.

Kollaboration

Im folgenden kurzen Bericht wird anhand von drei Beispielen gezeigt, wie bei der Erstellung und Aufbereitung von Datensätzen deren Anschlussfähigkeit bzw. Nachnutzbarkeit optimiert werden kann:

a) Datum der Ersterscheinung

Das Hauptziel des von 2007 bis 2016 von der DFG finanzierten Projekts „Deutsches Textarchiv“ bestand in der Erstellung eines Textkorpus, das einen disziplinen- und gattungsübergreifenden Grundbestand deutschsprachiger Texte aus dem Zeitraum von ca. 1600 bis 1900 für Interessierte und Forschende bereitstellt. Von anderen umfangreichen Textsammlungen wie Google Books, Wikisource oder dem Projekt Gutenberg-DE unterscheidet sich das DTA durch die sorgfältige Auswahl der Texte und Ausgaben, die sehr hohe Erfassungsgenauigkeit, die strukturelle und linguistische Erschließung der Textdaten sowie die Verlässlichkeit der Metadaten. Ein wichtiges Instrumentarium bei der Entwicklung des Korpus war die Etablierung eines einheitlichen Formates, des DTA-Basisformats (DTABf). Dieses TEI-Subset erfordert v.a. im Bereich der Metadaten eine vergleichsweise strikte und detaillierte Dokumentation von bibliographischen und formal-technischen Daten. Die Annotationsregeln im Bereich der DTABf-Header sind jedoch die Voraussetzung dafür, dass das DTA mit seinem sprachgeschichtlichen Fokus den historischen Sprachstand möglichst genau abbilden kann. Als konkrete Folge dieser Anforderung wurden bei der Erstellung des DTA-Kernkorpus in aller Regel die historischen Erstausgaben als Vorlage für die Digitalisierung gewählt.

Das Erscheinungsdatum der verwendeten Ausgabe wird im DTABf wie sonst üblich innerhalb des <publicationStmt> in der <sourceDesc> festgehalten:

<sourceDesc>
  ...
  <biblFull>
    ...
    <publicationStmt>
      ...
      <date type="publication">1853</date>
    </publicationStmt>
  </biblFull>
  ...
</sourceDesc>

Die Vorlagen für den durch TextGrid von der Editura GmbH & Co. KG erworbenen Datensatz der „Digitalen Bibliothek“ haben keine derartigen Einschränkungen. Hier muss also in der Regel davon ausgegangen werden, dass es sich eher nicht um die Erstausgaben der Texte handelt. Das oben verwendete <date type="publication"> hilft demnach bei der Abbildung des historischen Sprachstands nicht weiter, da der Text evtl. von 1827 stammt, für die Digitalisierung aber eine Ausgabe von 1966 genutzt wurde. Der Ausweg bestand hier in der Einführung eines weiteren <date>-Elements. In diesem kann per @firstPublication das Datum der Ersterscheinung festgehalten werden, während das Datum der verwendeten Ausgabe per <date type="publication"> annotiert wird.

Was hier auf der technischen Ebene der XML-Umsetzung vergleichsweise banal erscheint, stellte für das Projekt CLARIAH-DE und die Konvertierung von Texten der „Digitalen Bibliothek“ eine enorme Herausforderung dar. Nicht nur stand dort in den meisten Fällen kein Datum der Ersterscheinung zur Verfügung, so dass dieses erst ermittelt werden musste. Aus verschiedenen Gründen fehlten zudem in den Metadaten von rund 30% der Titel generell ein Datum. Die so notwendig gewordenen umfangreichen Nachrecherchen sowie, wenn möglich, die Anreicherung um das Datum der Ersterscheinung wurde in einer Kooperation zwischen CLARIAH-DE und ZDL umgesetzt.

b) DTA-Werkebene

Eine andere projektspezifische Herausforderung bei der Konversion der Texte aus der „Digitalen Bibliothek“ im TextGrid Repository bestand in der Wiederherstellung der Werkebene. Diese stand ganz am Beginn des DiBiLit-Konversionsworkflows und war deswegen nötig geworden, weil die ursprünglich autorbasierten XML-Dateien der Directmedia mit einer tief geschachtelten <article>-Struktur im TextGrid Repository in die jeweils kleinste Einheit aufgespalten worden waren. Aus einem einzelnen Gedichtband, der in den Originaldaten also mit einem umschließenden <article> annotiert war, wurden im TextGrid Repository bspw. rund 3.000 eigenständige TEI-Dateien mit jeweils einem eigenen Metadatensatz im TEI-Header.

Der DTA-Logik entspricht die Integration von Texten in der Regel auf Werkebene, d.h. der zuvor aufgesplittete Gedichtband musste wieder zusammengesetzt werden und einen werkspezifischen DTABf-Header erhalten. Die Schwierigkeit bestand darin, dass die Originaldaten und damit die einzelnen Header im TextGrid Repository evtl. Metainformationen über die Erscheinung des Einzelgedichts enthalten, die bei der Rückführung auf die Werkebene nicht verloren gehen sollten. Für diesen Zweck wurde in Zusammenarbeit mit dem ZDL ein Workflow für die Zuordnung der Einzelgedichte zu deren Metadaten in einem eigenen <note>-Element im DTABf-Header entwickelt. Dazu wurde für jedes einzelne <note>-Element innerhalb des <notesStmt> in der <sourceDesc> über eine @xml:id mit dem zugehörigen Textteil in //body/div verknüpft:

<notesStmt>
  <note type="remarkDocument" corresp="#Zesen-d1e403">
    Erstdruck: Hall (Peter Schmied) 1638.
  </note>
  <note type="remarkDocument" corresp="#Zesen-d1e1661">
    Erstdruck: Hamburg (Heinrich Werner) 1641.
  </note>
  <note type="remarkDocument" corresp="#Zesen-d1e16476">
    Erstdruck: Hamburg (Jacob Rebenlein) 1642.
  </note>
  <note type="remarkDocument" corresp="#Zesen-d1e19061">
    Erstdruck: Hamburg (Johann Naumann) 1651.
  </note>
</notesStmt>
 
c) DWDS-Textsortenklassifikation

Als letztes Beispiel sei hier auf die Gattungszuordnung der einzelnen Werke verwiesen. Diese ist bspw. die Voraussetzung für gezielte Suchanfragen innerhalb des neuen Korpus. Das TextGrid Repository ermöglicht den Zugriff auf „drama“, „prose“, „verse“ und „other“. Den Originaldaten lassen sich aber deutlich mehr Textgattungen entnehmen.

Im Projekt CLARIAH-DE wurde das Ziel formuliert, die vielen einzelnen Texte einer Auswahl von rund 10 Gattungen zuzuordnen. Diese Zuordnung wurde manuell über eine Mapping-Datei vorgenommen. Für die korpusübergreifende Suche wurde aber zusätzlich – und erneut in einer Kollaboration mit dem ZDL – ein Mapping auf die im DTA verwendeten Kategorien des „Digitalen Wörterbuchs der Deutschen Sprache“ (DWDS) umgesetzt. So konnten für das komplette DiBiLit-Korpus die Metadaten mit den Textsorten und Inhaltskategorisierungen des DWDS angereichert werden.

<textClass>
  <classCode scheme="zeno.org_Literaturgattung">Roman</classCode>
  <classCode scheme="#dwds1main">Belletristik</classCode>
  <classCode scheme="#dwds1sub">Roman</classCode>
  <classCode scheme="#DTACorpus">DiBiLit</classCode>
</textClass>

Zusammenfassung

Der Bericht zeigt anhand von drei Beispielen, wie bei der Erstellung und Anreicherung von Textkorpora die Möglichkeiten der Nachnutzung der Bestände deutlich optimiert werden können. Dies geschieht allem voran durch den Fokus auf ganz konkrete Nutzungsszenarien. Die Anreicherung der Metadaten um das Datum der Ersterscheinung, die aufwendige Verknüpfung einzelner Ressourcen – hier projektspezifisch umgesetzt im Kontext der Wiederherstellung der Werkebene –, sowie die Zuordnung der Textsortenklassifikation zu den einzelnen Werken garantiert die Vergleichbarkeit der Sammlung mit dem Kernkorpus des DTA und ist gleichermaßen die Voraussetzung, um daraus ein zeitlich und nach Textsorten ausgewogenes Korpus historischer Texte aggregieren zu können.

Die Zusammenarbeit des Projekts CLARIAH-DE mit dem ZDL hat zu einer Aufwertung des Korpus im Bereich der Metadaten geführt, die über die eigentlichen Projektziele von CLARIAH-DE hinausgingen. Andererseits garantiert dieser projektübergreifende Mehraufwand nun die Verwendung der Daten nicht nur korpusübergreifend, sondern macht den Datensatz auch für die Wörterbucharbeit des ZDL nutzbar.

Referenzen

Die Geschichte der Digitalen Bibliothek, oder: Aller guten Kurationen sind drei+

[Letzte Aktualisierung: 16. April 2021]

Autoren: Marius Hug, Matthias Boenig

Die Ursprünge der Digitalen Bibliothek: Directmedia und Zeno.org

Diese Geschichte beginnt im Oktober 1997 mit der CD-ROM „Deutsche Literatur von Lessing bis Kafka“. Mit dieser hat der Verlag Directmedia Publishing, der bereits seit 1992 Erfahrung mit der Publikation von CD-ROMs hatte, erstmals das Konzept der Reihe „Digitale Bibliothek“ vorgestellt. In dieser wurden Texteditionen mit einem umfassenden Themenspektrum von literarischen, wissenschaftlichen bis zu sachbezogenen Texten zum ersten mal digital verfügbar gemacht. Grundlage der „Digitalen Bibliothek“ waren größtenteils gemeinfreie Texte. Die Geschichte der Digitalen Bibliothek, oder: Aller guten Kurationen sind drei+ weiterlesen

Ein Blick in die Werkstatt: Bestimmung des Veröffentlichungsdatums bei Webseiten

Datumsangaben als wissenschaftlicher Gegenstand

Obwohl Text im Web allgegenwärtig ist, kann sich das Extrahieren von Webseiteninformationen als schwierig erweisen. Webdokumente gibt es in ganz unterschiedlichen Formaten, vor allem wegen der großen Vielfalt an Genres, Plattformen und Content-Management-Systemen und nicht zuletzt aufgrund sehr unterschiedlicher Publikationsziele seitens der jeweiligen Betreiber.

In den meisten Fällen enthalten die unmittelbar zugänglichen Daten auf abgerufenen Webseiten keine substanziellen oder genauen Informationen: Weder die URL noch die Serverantwort bieten eine zuverlässige Möglichkeit, ein Webdokument zu datieren, d.h. herauszufinden, wann es veröffentlicht oder möglicherweise verändert wurde. In diesem Fall ist es notwendig, das Dokument vollständig zu erkunden oder anhand von robusten Heuristiken zu durchforsten. Diese Aufgabe wird häufig Web Scraping genannt (gezieltes Extrahieren der benötigten Daten).

Ein Blick in die Werkstatt: Bestimmung des Veröffentlichungsdatums bei Webseiten weiterlesen

Digitalisierung, Aufbereitung und Annotation des Friedhofsregisters der jüdischen Gemeinde zu Strelitz (1740–1923)

Der folgende Artikel erläutert die einzelnen Schritte, die angewandt wurden, um das Friedhofsregister der jüdischen Gemeinde zu Strelitz so aufzubereiten, dass es volltextdurchsuchbar, maschinenlesbar, XML-annotiert und im Ausgangsformat als TEI/XML sowie ALTO verfügbar ist. Am Ende stehen zwei „Produkte“: Einerseits die Ansicht des TEIs im Deutschen Textarchiv, zur Korrektur und vollen Nutzbarkeit des TEI; andererseits die Ansicht im DFG-Viewer mittels generierter METS, zur zeilengenauen Ansicht des transkribierten Textes.
Digitalisierung, Aufbereitung und Annotation des Friedhofsregisters der jüdischen Gemeinde zu Strelitz (1740–1923) weiterlesen

Über bereichernde Anreicherung. Wechselseitige Annotation von Dramen als Subkorpus der Digitalen Bibliothek zwischen Zeno.org, TGRep, GerDraCor und DTA

Autoren: Marius Hug, Matthias Boenig, Yannic Bracke, Frank Fischer, Susanne Haaf, Christian Thomas

Intro

Im folgenden Beitrag soll gezeigt werden, wie deutschsprachige Dramen aus den zwei Textsammlungen TextGrid Repository (TGRep) und German Drama Corpus (GerDraCor) unter Einbeziehung von Metadaten aus einer externen Katalogdatei in das Basisformat des Deutschen Textarchivs (DTABf) transformiert werden. Die Dramen stellen im TGR ein Subkorpus der „Digitalen Bibliothek“ dar und wurden, wie auch der Metadatenkatalog, ursprünglich von zeno.org publiziert. Dieser UseCase mit dem Ziel der gegenseitigen Bereicherung wurde im Rahmen des CLARIAH-DE-Projektes realisiert.

Über bereichernde Anreicherung. Wechselseitige Annotation von Dramen als Subkorpus der Digitalen Bibliothek zwischen Zeno.org, TGRep, GerDraCor und DTA weiterlesen