[Letzte Aktualisierung: 16. April 2021]

Autoren: Marius Hug, Matthias Boenig

Die Ursprünge der Digitalen Bibliothek: Directmedia und Zeno.org

Diese Geschichte beginnt im Oktober 1997 mit der CD-ROM „Deutsche Literatur von Lessing bis Kafka“. Mit dieser hat der Verlag Directmedia Publishing, der bereits seit 1992 Erfahrung mit der Publikation von CD-ROMs hatte, erstmals das Konzept der Reihe „Digitale Bibliothek“ vorgestellt. In dieser wurden Texteditionen mit einem umfassenden Themenspektrum von literarischen, wissenschaftlichen bis zu sachbezogenen Texten zum ersten mal digital verfügbar gemacht. Grundlage der „Digitalen Bibliothek“ waren größtenteils gemeinfreie Texte.

Die CD-ROM kostete 99 DM und enthielt „102 385 Buchseitenäquivalente, etwa 400 Bücher, 12 Regalmeter, von 58 Autoren“. Damit war diese Pionierleistung eines deutschen Verlags nicht nur etwa dreimal so umfangreich wie das Projekt Gutenberg-DE, sondern auch unschlagbar günstig. Die bspw. im gleichen Zeitraum vom Deutschen Klassiker Verlag und Chadwyck-Healey/ProQuest herausgegebene „Digitale Bibliothek Deutscher Klassiker“ war für die Einzelnutzer nicht erschwinglich und richtete sich ausschließlich an große Bibliotheken.

Neben der beeindruckenden Textsammlung wurde auch die mitgelieferte Software gelobt, allem voran die schnörkellose Recherchefunktion, die eine schreibweisentolerante Suche beinhaltete und damit Abfragen ermöglichte, die den historischen Wandel der deutschen Orthographie ausglichen. Die Textsammlung hob sich in den 1990er Jahren als „klug und reichhaltig sortierte Großbibliothek ohne optischen Firlefanz“ von den oftmals sehr verspielten elektronischen Angeboten ab.

Und auch die Wissenschaft nahm Kenntnis von der „Digitalen Bibliothek“:

… allein die Tatsache, daß mit einem Schlag und zu so einem Preis eine solche Menge der wichtigen Texte der neueren deutschen Literatur elektronisch zur Verfügung steht, hat das größte Handicap der Computerphilologie in diesem Land beseitigt: den Mangel oder die Unerreichbarkeit der Texte für den Literaturwissenschaftler. (F. Jannidis, 1999)

Bereits ein Jahr später wurde die Digitale Bibliothek auch als kostenpflichtiges Online-Angebot installiert. Dieses war als Zusatzangebot für die Sammlung der CD-ROMS gedacht. Weitere neun Jahre später war aus diesem Zusatzangebot das kostenfreie Informationsportal Zeno.org geworden, das als Nachfolgereihe gegründet den Online-Zugriff auf die komplette „Digitale Bibliothek“ ermöglichte, wobei die laufenden Betriebskosten v.a. durch Werbung gedeckt werden sollten. In einem auf ZEIT online unter dem Titel „Alexandria im Netz“ im Oktober 2007 veröffentlichten Artikel wurde auf die beeindruckende Größe hingewiesen, auf die das interaktive Online-Archiv Zeno.org angewachsen war: „600 Millionen Wörter, 420.000 Bilder, ungezählte Bücher“.

Der Zeno Datensatz Literatur: Evaluation/Statistische Auswertungen

Der Datensatz Literatur, der die Grundlage für die Website Zeno.org: Bereich Literatur bildet, umfasst insgesamt 695 Dateien und Werke von 690 Autoren. Die zentrale Metadatendatei enthält die bibliographischen Angaben der verwendeten digitalisierten Quellen. Der Aufbau der Datei entspricht folgendem Muster (Ausschnitt):

<DEFBOOK>
    <BOOKNAME>
        Byron-Werke Bd. 4
    </BOOKNAME>
    <BOOKDESCR>
        Lord Byrons Werke. 6 Bände in dreien, übers. v. Otto Gildemeister, Berlin: Verlag von G. Reimer, 1877.
    </BOOKDESCR>
    <BOOKCITE>
        Lord Byrons Werke. Berlin 1877, Band 4
    </BOOKCITE>
 ...
</DEFBOOK>

Trotz der Nutzung von XML-Markup ist die Auswertung der Metadaten nicht einfach zu realisieren. Das Problem besteht ganz offenkundig in den nicht spezifisch annotierten Daten, die keinen direkten Zugriff auf Autor, Titel, Ort, Datum etc. zulassen. Eine Dokumentation oder Erklärung des Metadatensatzes liegt nicht vor und muss an Hand der vorhandenen Datenstruktur rekonstruiert werden.

Nr	Einheit	Anzahl
1	DEFBOOK	2559
2	BOOKNAME	2559
3	BOOKCITE	2552
4	BOOKDESCR	1757

Ad 1) <DEFBOOK> ist das den einzelnen Literatureintrag umschließende Element.

Ad 2) <BOOKNAME> ist ein eindeutiger Identifier. Dieser findet sich als
Attributwert in den sigel-Elementen der Textdateien. Er wird für die
Zuordnung der Texte zu den Metadaten verwendet.

Ad 3) <BOOKCITE> ist (im Idealfall) ein eindeutiger Literatureintrag, der im Falle eines mehrbändigen Werkes auch die Bandangabe enthält. Insgesamt sind sieben <BOOKCITE>-Elemente zwei- oder gar dreifach enthalten. Dabei handelt es sich in der Regel um mehrbändige Werke, wobei bei der Aufnahme der Titel offenbar Fehler gemacht wurden.

Ad 4) <BOOKDESCR> ist eine vollständige bibliographische Angabe, die zusätzlich zum Erscheinungsort bspw. auch den Verlag enthält und außerdem die Zugehörigkeit der Titel zur Reihe, nicht aber zum Einzelband innerhalb der Reihe. In der Unterscheidung zwischen <BOOKDESCR> und <BOOKCITE> besteht eine echte Komplexität dieses Datensatzes. Da das Element <BOOKDESCR> im Vergleich zu <BOOKCITE> deutlich detailreicher ist, spricht Einiges dafür, daraus die benötigten Metadaten zu gewinnen. Wie das Beispiel oben zeigt, gehen dabei jedoch auch entscheidende Informationen verloren, so die Zuordnung zum spezifischen Band der Reihe.

Die Zeno-Daten ermöglichen anhand der Größe der Dateien nur einen groben Überblick. Detailliertere Auswertungen erfolgen im Weiteren auf Basis der TextGrid-Daten (s.u.).

Die 10 größten Dateien sind:

Datei	Dateigröße
Literatur-Verne,-Jules.xml	43,0 MB
Literatur-May,-Karl.xml	37,0 MB
Literatur-Goethe,-Johann-Wolfgang-002.xml	32,0 MB
Literatur-Luther,-Martin.xml	23,0 MB
Literatur-Goethe,-Johann-Wolfgang-001.xml	16,0 MB
Literatur-Lohenstein,-Daniel-Casper-von.xml	15,0 MB
Literatur-Fontane,-Theodor.xml	15,0 MB
Literatur-Gutzkow,-Karl.xml	13,0 MB
Literatur-Tucholsky,-Kurt.xml	11,0 MB
Literatur-Jean-Paul.xml	9,7 MB

Der Literatur-Ordner umfasst insgesamt rund 135 Mio. Token. Eine gleichartige Datenstruktur ist ebenfalls in den zur Digitalen Bibliothek gehörenden Ordnern: Geschichte, Musik, Naturwissenschaften, Märchen etc. zu finden.

Die einzelnen Daten in diesen Ordnern sind wie die Metadaten mit XML-Markup strukturiert. Auch zu diesem Format ist keine Format-Dokumentation vorhanden. Das Besondere der Daten-Struktur ist das Ineinanderschachteln von <article>-Elementen, die auf unterschiedlichen Ebenen unterschiedlich interpretiert werden müssen – alle Werke eines Autors sind als <article> zusammengefasst, das Einzelwerk jedoch auch. Das führt dazu, dass es gar nicht so trivial ist, die Anzahl der von knapp 700 verschiedenen Autoren stammenden Werke zu bestimmen. Nach einem Abgleich mit der bibliographischen Katalogdatei kann die Anzahl der Quellen im Literatur-Ordner auf rund 2500 geschätzt werden. Da jedoch verschiedene Werke aus ein und dergleichen Quelle stammen können, wird die tatsächliche Anzahl der im Literatur-Ordner enthaltenen Werke als etwa um den Faktor 2 größer angenommen.

Die Digitale Bibliothek bei TextGrid

Rund zwei Jahre nach der Gründung der Online Bibliothek Zeno.org meldete die Presseabteilung der Georg-August-Universität Göttingen am 2. Dezember 2009, dass der Forschungsverbund TextGrid die „Digitale Bibliothek“ erworben hat. Ein wichtiges Ziel von TextGrid bestand darin, die Textsammlung ohne jegliche Werbung als Online-Lektüre unter einer CC-Lizenz zur Verfügung zu stellen.

In einem online einsehbaren „Nachtrag zu der am 27.06.2008 eingereichten Vorhabenbeschreibung“ wird der „Begründung für den Erwerb der Texte der Digitalen Bibliothek” ein eigenes Kapitel gewidmet. Vor allem der Unterschied zwischen der CD-ROM Ausgabe und den Zeno.org-Texten verbunden mit dem Wunsch, die von Letzteren nicht ausgeschöpften Potentiale der Community zugute kommen zu lassen, werden als Argumentation herangeführt. Zudem werden verschiedene fachwissenschaftliche Anwendungsszenarien dargestellt, die mit den vorhandenen Daten im TextGrid Repository möglich gemacht werden sollen: 1) Wörterbuchnetz, 2) Aufbau von Textsammlungen für spezifische Zwecke, 3) Quantitative Analysen, 4) Besseres OCR.

Mit dem Erwerb der Digitalen Bibliothek sollte ein Kernbestand von kanonisierten Texten auf Basis von Studienausgaben für Forschende der Geistes- und Sozialwissenschaften im TextGrid Repository bereitgestellt werden. Das neue Zuhause für den Literatur-Ordner bot eine verlässliche Speicherung der Texte und Zitierfähigkeit. Mit Textgrid konnten die Texte zu eigenen Sammlungen zusammengestellt und in verschiedenen Formaten (TEI, TXT, HTML, epub) heruntergeladen werden.

2015 endete zwar die direkte Projektförderung von TextGrid, aber ein nachhaltiger Betrieb des Repositories und der transferierten Daten war mit der Einbindung in die digitale Forschungsinfrastruktur DARIAH-DE (Digital Research Infrastructure for the Arts and Humanities) gesichert.

Aktuell (Q1/2021) liegt „Die Digitale Bibliothek bei TextGrid“ in drei verschiedenen Versionen vor: Es werden zwei Versionen zum Download bereitgestellt, wobei darin ähnlich wie bei Zeno.org jedem Autor eine Datei entspricht. Die komplexe article-Verschachtelung wurde durch TEICorpus-Elemente ersetzt, welche dann die Einzelwerke als TEI enthalten. Die Online-Version von TextGrid entspricht Version II, wobei auf die TEI-Corpus-Mantelung verzichtet wurde mit dem Ergebnis, dass die Werke in knapp 100.000 einzelnen TEI-Dateien vorliegen, wobei jede Datei eine PID enthält. Bei einer solchen Datei kann es sich im Falle eines Romans z. B. um ein ganzes Buch handeln, im Falle eines Gedichtsbandes aber auch um einen Vierzeiler. Die mehr als 300.000 items erklären sich durch das spezifische Metadaten-Handling des TextGrid Repositories.

Aufgrund des großen Datenbestandes haben die Betreiber frühzeitig die Anbindung an die Community gesucht und für Bug-Reports ein Ticket-System eingerichtet. Es war v. a. das Projekt GerDraCor um Frank Fischer, das speziell im Bezug auf die in der Textsammlung enthaltenen Dramen auf verschiedene Probleme aufmerksam gemacht hat. So liegen z. B. bei <speaker>, <lg> und <closer> teils semantisch falsche Auszeichnungen vor. Außerdem führte die Transformation nach TEI z. B. bei Akt- oder Szenenüberschriften, Regieanweisungen, Vorwörtern und Anhängen unter Umständen zu Textverlust.

Neben diesen 2+1 TextGrid-Versionen liegt eine weitere, bislang nicht veröffentlichte Version von 2017 vor. In dieser wurden einige bekannte Bugs und Textverluste beseitigt. Details des Textgrid-Korpus:

Der Autor mit den meisten Beiträgen:	Friedrich von Logau: Sämmtliche Sinngedichte	3.559*
Das längste Werk nach Token:	Großmütiger Feldherr Arminius	1.994.905
Das kürzeste Werke nach Token:	Widmung	89
Das größte Werk nach Dateigröße:	Luther-Bibel 1545	35.711.701
Das kleinste Werk nach Dateigröße:	Widmung	3.117

*) Die „meisten Beiträge“ bedeutet in diesem Fall tatsächlich, dass es sich um ein einziges Buch des Autoren Friedrich von Logau handelt. Dieses enthält insgesamt 3.559 Einzelgedichte.

Das TextGrid Repository nimmt folgende Kategorisierung der enthaltenen Texte vor und bietet entsprechende Suchfilter an:

Genre**	Anzahl
verse	118.060
other	58.792
prose	6.663
drama	1.461
gesamt	184.976

**) https://textgridrep.org/facet/work.genre und weiter eingeschränkt auf den Bestand aus der „Digitalen Bibliothek“.

Weitere TGRep-Ressourcen bzw. Derivate der „Digitalen Bibliothek“

GerDraCor

Das German Drama Corpus (GerDraCor) enthält zurzeit knapp 500 Dramen. Diese stammen größtenteils aus der „Digitalen Bibliothek bei TextGrid“. Die Texte stehen im TEI P5-Format unter der CC0-Lizenz zur Verfügung und bilden ein Referenzkorpus von deutschsprachigen Dramen aus dem Zeitraum zwischen 1730 und 1940. Das Korpus dient vor allem der computergestützten Dramenanalyse.

Im Vergleich zu den Ursprungsdaten aus dem TextGrid Repository weisen diese Daten ausführlichere Metadaten im Bereich der Datumsangaben auf. Damit kann zwischen den Daten der Veröffentlichung (print), der Premiere (premiere) und der Erstellung (written) des Dramas unterschieden werden. Daneben sind die Sprecher im Drama durch eine eindeutige Identifikation (ID) voneinander zu unterscheiden. Für eine ausführliche Analyse auch im Kontext der Integration von Daten in neue Textsammlungen und die gegenseitige Anreicherung siehe den BlogPost zur Bereichernden Anreicherung.

IDS-i5

Vom Leibniz-Institut für Deutsche Sprache (IDS) in Mannheim wurde 2017 die komplette „Digitale Bibliothek“ konvertiert und in Das Deutsche Referenzkorpus (DeReKo) integriert. Das hier als i5 bezeichnete Korpus wird unter einer CC-BY-SA-Lizenz bereitgestellt. i5 liegt in einer 2,2 GB großen XML-Datei vor und wurde zusätzlich ausgehend von der ursprünglichen Zeno.org-Struktur in kleinere themenspezifische Dateien aufgeteilt.

Im Vergleich zur Version des TextGrid-Repositories wurden vom IDS nach eigenen Angaben Anreicherungen im Bereich der Metadaten vorgenommen. Diese Anreicherungen wurden auf Grundlage eines regelbasierten Ansatzes aus den originalen bibliographischen Angaben von Zeno.org gewonnen. Signifikante Verbesserungen gibt es dabei v.a. im Bereich der Verlagsangaben (<publisher>) wie auch des Erscheinungsdatums, wobei für Letzteres ein zusätzliches <date>, das sogenannte <creatDate> eingeführt wurde. Diese zusätzliche Anreicherung ist insofern hilfreich, als das <date> der Originaldaten häufig nicht das Datum der Ersterscheinung des Werkes enthält.

CLARIAH-DE

Anfang 2019 schlossen sich die Forschungsinfrastrukturen CLARIN-D und DARIAH-DE zu CLARIAH-DE zusammen. Innerhalb von CLARIAH-DE ist das Arbeitspaket „Forschungsdaten, Standards und Verfahren“ im Rahmen der Zusammenführung und Homogenisierung digitaler Datenbestände u. a. zuständig für die Konvertierung ausgewählter TEI-Ressourcen des TextGrid Repositories in das Basisformat des Deutschen Textarchivs (DTABf). Durch diese digitale Transformation wird den Forschenden im Bereich der Geistes- und Sozialwissenschaften die „Digitale Bibliothek bei Textgrid“ als eigenständiges Korpus im Deutschen Textarchiv zur Verfügung gestellt. Dieser zentrale Bestand des TextGrid Repositories ist damit zugleich durch die im Projekt CLARIN-D entwickelten Werkzeuge erschlossen.

Die Evaluation der verschiedenen Umwandlungen des Zeno-Datenbestandes in den vorangegangenen Projekten hat ergeben, dass sowohl die Datenqualität als auch die Komplexität der Ergebnisse unterschiedlich einzuschätzen sind. Der Bestand des DTA bezieht sich in der Regel auf ein Werk, einen Band oder eine Ausgabe. Der Literatur-Ordner der ursprünglich von Zeno.org bereitgestellten „Digitalen Bibliothek“ umfasst im TextGrid Repository hingegen über 90.000 Einzeltexte von 690 verschiedenen Autoren. Dabei handelt es sich um XML-bzw. TEI P5-Dateien, die im projektspezifischen TextGrid Baseline Encoding kodiert sind.

Das Ziel im Projekt CLARIAH-DE bestand in der Harmonisierung und Zusammenführung der verschiedenen zur Verfügung stehenden Datensätze. Für die Einspielung der Textsammlung in die DTA-Infrastruktur an der BBAW müssen 1) der vorliegende Datenbestand auf Werkebene zusammengefasst werden. Erfolgt 2) eine Konversion der Daten in das Basisformat des Deutschen Textarchivs (DTABf). Und 3) ist neben der Transformation der Element-/Attribut-Paare in die vom DTABf geforderte Systematik v. a. die Generierung valider Metadaten im Bereich des TEIHeaders notwendig. Neben der werksspezifischen Zusammenführung der Daten hat sich Letzteres als besondere Herausforderung herausgestellt, was nicht zuletzt an den nicht spezifisch annotierten Metadaten im Zeno.org-Katalog liegt.

Im Projekt CLARIAH-DE wurden die bibliographischen Metadaten zu den Texten der „Digitalen Bibliothek“ teils semiautomatisch und teils händisch annotiert, sodass die Quellen im Bereich der sogenannten Source-Description im TEIHeader standardkonform kodiert werden können. Zudem wurden die Daten mit Informationen angereichert, die im Rahmen der bereits genannten Projekte des IDS und von GerDraCor hinzugefügt wurde. Für die Vernetzung mit diesen Daten wurden außerdem automatisiert Permalinks aus beiden Projekten in die DTABf-Header übernommen.

Eine ausführliche Dokumentation zu den an den Originaldaten vorgenommenen Korrekturen und Anreicherungen sowie der eigentlichen Konversion der Daten wird im Rahmen der Projektdokumentation erfolgen. Für einen Einblick in die sowohl manuellen wie auch skript-basierten Anreicherungen der Metadaten sei zudem verwiesen auf den Blog-Post „Über bereichernde Anreicherungen“.

Die Digitale Bibliothek im Deutschen Textarchiv

Voraussetzung für die Integration der „Digitalen Bibliothek“ in die DTA-Infrastruktur ist eine Kodierung im Basisformat des Deutschen Textarchivs (DTABf). Durch diese Kodierung wird eine automatische Analyse der Texte mit verschiedenen Werkzeugen (DTA-Tokwrap, DDC, CAB) ermöglicht. Dadurch können anschließend die DWDS-Werkzeuge (Korpussuche, Frequenzdatenbank, Wortverlaufskurven und DiaCollo) für die statistische Analyse des Wortschatzes zur Anwendung kommen.

Durch die linguistische Analyse mittels CAB stehen die im DTA integrierten (historischen) Texte neben der ursprünglichen DTABf-kodierten XML-Version und der daraus generierten TXT-Version, als transliterierter, normalisierter, wie auch lemmatisierter Text zur Verfügung. Zugriff auf die Metadaten erlaubt neben dem TEIHeader auch ein CMDI-, sowie ein Dublin Core-Datensatz.

Ein zentrales Feature ist die Suche in den Korpora mittels der linguistischen Suchmaschine DDC. Neben konkreten Wort- oder Grundformen (Lemmata), kann die Suchanfrage durch Wortarten-, Kontext- und sogar Metadatenfilter verfeinert werden. Die Suche funktioniert zudem korpusübergreifend.  Neben der Suche stehen zwei weitere Tools für die linguistische Analyse des Datenbestandes zur Verfügung: Die Wortverlaufskurve zeigt die Häufigkeit an, mit der ein Wort im Laufe der Zeit verwendet wird. Diese Art der Darstellung ist durch den Google Books Ngram Viewer bekannt gemacht worden. DiaCollo wiederum dient zur diachronen Kollokationsanalyse. Damit kann untersucht werden, wie sich die Häufigkeiten im gemeinsamen Vorkommen von Wörtern ändern. 

Mit der im Projekt CLARIAH-DE vorgenommenen Konversion des Literatur-Ordners der ursprünglich von Zeno.org bereitgestellten „Digitalen Bibliothek“ in das DTABf und die dadurch möglich gewordene Integration des neuen dstar-Korpus DiBiLit in die DTA-Infrastruktur der BBAW wird der Textsammlung auf www.zeno.org und textgridrep.org (sowie im Falle der Dramen auf github.com/dracor-org/gerdracor) nicht nur eine weitere v. a. im Bereich der Metadaten fundamental aufgewertete Version an die Seite gestellt. Die Zusammenführung und Homogenisierung der Textdaten aus den hier genannten Infrastrukturen (die im Bereich der TEIHeader jeweils Permalinks auf die relevanten Ressourcen enthalten) ermöglicht korpusübergreifende, linguistische Textanalysen mit den oben genannten Werkzeugen, die für die Community einen echten Mehrwert darstellen.

Referenzen/Links

Bertino, Andrea: TextGrid – Die Virtuelle Forschungsumgebung der Digital Humanities. In: DHd Blog, 25. November 2019. URL: https://dhd-blog.org/?p=12576

Funk, Stefan Edwin. „Elektronisches Publizieren von Digitalen Forschungsdaten am Beispiel des TextGrid Repositorys Umsetzung von Digitalen Publikationsworkflows für die eHumanities“, 2018. https://publiscologne.th-koeln.de/frontdoor/deliver/index/docId/1172/file/MAT_Funk_Stefan.pdf.

Neuroth, Heike; Rapp, Andrea; Söring, Sibylle (Hrsg.): TextGrid: Von der Community – für die Community. Eine Virtuelle Forschungsumgebung für die Geisteswissenschaften. 2015. DOI: 10.3249/webdoc-3947

Geyken, Alexander; Matthias Boenig, Susanne Haaf, Bryan Jurish, Christian Thomas und Frank Wiegand: Das Deutsche Textarchiv als Forschungsplattform für historische Daten in CLARIN. In: Henning Lobin, Roman Schneider, Andreas Witt (Hgg.): Digitale Infrastrukturen für die germanistische Forschung (= Germanistische Sprachwissenschaft um 2020, Bd. 6). Berlin/Boston, 2018, S. 219–248. Online-Version, DOI: 10.1515/9783110538663-011.

http://www.deutschestextarchiv.de/doku/software: Enthält einen Überblick über die Software des Deutschen Textarchivs.

https://www.deutschestextarchiv.de/dibilit: Neues dstar-Korpus mit den im Projekt CLARIAH-DE konvertierten Texten des Literaturordners der Digitalen Bibliothek.

https://www.dwds.de/stats: Enthält eine Dokumentation der DWDS-Werkzeuge zur statistischen Textanalyse.

https://textgrid.de/digitale-bibliothek: Enthält eine Dokumentation und die Lizenzierung des Archivs sowie eine Aufstellung der detaillierten Arbeitsschritte wie auch bekannter Bugs.

https://github.com/dracor-org/gerdracor: Das GermanDramaCorpus auf github.

http://www.zeno.org/Literatur: Der Literatur-Ordner der Digitalen Bibliothek auf Zeno.org.

---

---