Die Geschichte der Digitalen Bibliothek, oder: Aller guten Kurationen sind drei+

[Letzte Aktualisierung: 12. April 2021]

Autoren: Marius Hug, Matthias Boenig

Die Ursprünge der Digitalen Bibliothek: Directmedia und Zeno.org

Diese Geschichte beginnt im Oktober 1997 mit der CD-ROM „Deutsche Literatur von Lessing bis Kafka“. Mit dieser hat der Verlag Directmedia Publishing, der bereits seit 1992 Erfahrung mit der Publikation von CD-ROMs hatte, erstmals das Konzept der Reihe „Digitale Bibliothek“ vorgestellt. In dieser wurden Texteditionen mit einem umfassenden Themenspektrum von literarischen, wissenschaftlichen bis zu sachbezogenen Texten zum ersten mal digital verfügbar gemacht. Grundlage der „Digitalen Bibliothek“ waren größtenteils gemeinfreie Texte.

Die CD-ROM kostete 99 DM und enthielt „102 385 Buchseitenäquivalente, etwa 400 Bücher, 12 Regalmeter, von 58 Autoren“. Damit war diese Pionierleistung eines deutschen Verlags nicht nur etwa dreimal so umfangreich wie das Projekt Gutenberg-DE, sondern auch unschlagbar günstig. Die bspw. im gleichen Zeitraum vom Deutschen Klassiker Verlag und Chadwyck-Healey/ProQuest herausgegebene „Digitale Bibliothek Deutscher Klassiker“ war für die Einzelnutzer nicht erschwinglich und richtete sich ausschließlich an große Bibliotheken.

Neben der beeindruckenden Textsammlung wurde auch die mitgelieferte Software gelobt, allem voran die schnörkellose Recherchefunktion, die eine schreibweisentolerante Suche beinhaltete und damit Abfragen ermöglichte, die den historischen Wandel der deutschen Orthographie ausgleichten. Die Textsammlung hob sich in den 1990er Jahren als „klug und reichhaltig sortierte Großbibliothek ohne optischen Firlefanz“ von den oftmals sehr verspielten elektronischen Angeboten ab.

Und auch die Wissenschaft nahm Kenntnis von der „Digitalen Bibliothek“:

… allein die Tatsache, daß mit einem Schlag und zu so einem Preis eine solche Menge der wichtigen Texte der neueren deutschen Literatur elektronisch zur Verfügung steht, hat das größte Handicap der Computerphilologie in diesem Land beseitigt: den Mangel oder die Unerreichbarkeit der Texte für den Literaturwissenschaftler. (F. Jannidis, 1999)

Bereits ein Jahr später wurde die Digitale Bibliothek auch als kostenpflichtiges Online-Angebot installiert. Dieses war als Zusatzangebot für die Sammlung der CD-ROMS gedacht. Weitere neun Jahre später war aus diesem Zusatzangebot das kostenfreie Informationsportal Zeno.org geworden, das als Nachfolgereihe gegründet den Online-Zugriff auf die komplette „Digitale Bibliothek“ ermöglichte, wobei die laufenden Betriebskosten v.a. durch Werbung gedeckt werden sollten. In einem auf ZEIT online unter dem Titel „Alexandria im Netz“ im Oktober 2007 veröffentlichten Artikel wurde auf die beeindruckende Größe hingewiesen, auf die das interaktive Online-Archiv Zeno.org angewachsen war: „600 Millionen Wörter, 420.000 Bilder, ungezählte Bücher“.

Der Zeno Datensatz Literatur: Evaluation/Statistische Auswertungen

Der Datensatz Literatur, der die Grundlage für die Website Zeno.org: Bereich Literatur bildet, umfasst insgesamt 695 Dateien und Werke von 690 Autoren. Die zentrale Metadatendatei enthält die bibliographischen Angaben der verwendeten digitalisierten Quellen. Der Aufbau der Datei entspricht folgendem Muster (Ausschnitt):

<DEFBOOK>
    <BOOKNAME>
        Byron-Werke Bd. 4
    </BOOKNAME>
    <BOOKDESCR>
        Lord Byrons Werke. 6 Bände in dreien, übers. v. Otto Gildemeister, Berlin: Verlag von G. Reimer, 1877.
    </BOOKDESCR>
    <BOOKCITE>
        Lord Byrons Werke. Berlin 1877, Band 4
    </BOOKCITE>
 ...
</DEFBOOK>

Trotz der Nutzung von XML-Markup ist die Auswertung der Metadaten nicht einfach zu realisieren. Das Problem besteht ganz offenkundig in den nicht spezifisch annotierten Daten, die keinen direkten Zugriff auf Autor, Titel, Ort, Datum etc. zulassen. Eine Dokumentation oder Erklärung des Metadatensatzes liegt nicht vor und muss an Hand der vorhandenen Datenstruktur rekonstruiert werden.

NrEinheitAnzahl
1DEFBOOK2559
2BOOKNAME2559
3BOOKCITE2552
4BOOKDESCR1757

Ad 1) <DEFBOOK> ist das den einzelnen Literatureintrag umschließende Element.

Ad 2) <BOOKNAME> ist ein eindeutiger Identifier. Dieser findet sich als
Attributwert in den sigel-Elementen der Textdateien. Er wird für die
Zuordnung der Texte zu den Metadaten verwendet.

Ad 3) <BOOKCITE> ist (im Idealfall) ein eindeutiger Literatureintrag, der im Falle eines mehrbändigen Werkes auch die Bandangabe enthält. Insgesamt sind sieben <BOOKCITE>-Elemente zwei- oder gar dreifach enthalten. Dabei handelt es sich in der Regel um mehrbändige Werke, wobei bei der Aufnahme der Titel offenbar Fehler gemacht wurden.

Ad 4) <BOOKDESCR> ist eine vollständige bibliographische Angabe, die zusätzlich zum Erscheinungsort bspw. auch den Verlag enthält und außerdem die Zugehörigkeit der Titel zur Reihe, nicht aber zum Einzelband innerhalb der Reihe. In der Unterscheidung zwischen <BOOKDESCR> und <BOOKCITE> besteht eine echte Komplexität dieses Datensatzes. Da das Element <BOOKDESCR> im Vergleich zu <BOOKCITE> deutlich detailreicher ist, spricht Einiges dafür, daraus die benötigten Metadaten zu gewinnen. Wie das Beispiel oben zeigt, gehen dabei jedoch auch entscheidende Informationen verloren, so die Zuordnung zum spezifischen Band der Reihe.

Die Zeno-Daten ermöglichen anhand der Größe der Dateien nur einen groben Überblick. Detailliertere Auswertungen erfolgen im Weiteren auf Basis der TextGrid-Daten (s.u.).

Die 10 größten Dateien sind:

Datei Dateigröße
Literatur-Verne,-Jules.xml 43,0 MB
Literatur-May,-Karl.xml 37,0 MB
Literatur-Goethe,-Johann-Wolfgang-002.xml 32,0 MB
Literatur-Luther,-Martin.xml 23,0 MB
Literatur-Goethe,-Johann-Wolfgang-001.xml 16,0 MB
Literatur-Lohenstein,-Daniel-Casper-von.xml 15,0 MB
Literatur-Fontane,-Theodor.xml 15,0 MB
Literatur-Gutzkow,-Karl.xml 13,0 MB
Literatur-Tucholsky,-Kurt.xml 11,0 MB
Literatur-Jean-Paul.xml 9,7 MB

Der Literatur-Ordner umfasst insgesamt rund 135 Mio. Token. Eine gleichartige Datenstruktur ist ebenfalls in den zur Digitalen Bibliothek gehörenden Ordnern: Geschichte, Musik, Naturwissenschaften, Märchen etc. zu finden.

Die einzelnen Daten in diesen Ordnern sind wie die Metadaten mit XML-Markup strukturiert. Auch zu diesem Format ist keine Format-Dokumentation vorhanden. Das Besondere der Daten-Struktur ist das Ineinanderschachteln von <article>-Elementen, die auf unterschiedlichen Ebenen unterschiedlich interpretiert werden müssen – alle Werke eines Autors sind als <article> zusammengefasst, das Einzelwerk jedoch auch. Das führt dazu, dass es gar nicht so trivial ist, die Anzahl der von knapp 700 verschiedenen Autoren stammenden Werke zu bestimmen. Nach einem Abgleich mit der bibliographischen Katalogdatei kann die Anzahl der Quellen im Literatur-Ordner auf rund 2500 geschätzt werden. Da jedoch verschiedene Werke aus ein und dergleichen Quelle stammen können, wird die tatsächliche Anzahl der im Literatur-Ordner enthaltenen Werke als etwa um den Faktor 2 größer angenommen.

Die Digitale Bibliothek bei TextGrid

Rund zwei Jahre nach der Gründung der Online Bibliothek Zeno.org meldete die Presseabteilung der Georg-August-Universität Göttingen am 2. Dezember 2009, dass der Forschungsverbund TextGrid die „Digitale Bibliothek“ erworben hat. Ein wichtiges Ziel von TextGrid bestand darin, die Textsammlung ohne jegliche Werbung als Online-Lektüre unter einer CC-Lizenz zur Verfügung zu stellen.

In einem online einsehbaren „Nachtrag zu der am 27.06.2008 eingereichten Vorhabenbeschreibung“ wird der „Begründung für den Erwerb der Texte der Digitalen Bibliothek” ein eigenes Kapitel gewidmet. Vor allem der Unterschied zwischen der CD-ROM Ausgabe und den Zeno.org-Texten verbunden mit dem Wunsch, die von Letzteren nicht ausgeschöpften Potentiale der Community zugute kommen zu lassen, werden als Argumentation herangeführt. Zudem werden verschiedene fachwissenschaftliche Anwendungsszenarien dargestellt, die mit den vorhandenen Daten im TextGrid Repository möglich gemacht werden sollen: 1) Wörterbuchnetz, 2) Aufbau von Textsammlungen für spezifische Zwecke, 3) Quantitative Analysen, 4) Besseres OCR.

Mit dem Erwerb der Digitalen Bibliothek sollte ein Kernbestand von kanonisierten Texten auf Basis von Studienausgaben für Forschende der Geistes- und Sozialwissenschaften im TextGrid Repository bereitgestellt werden. Das neue Zuhause für den Literatur-Ordner bot eine verlässliche Speicherung der Texte und Zitierfähigkeit. Mit Textgrid konnten die Texte zu eigenen Sammlungen zusammengestellt und in verschiedenen Formaten (TEI, TXT, HTML, epub) heruntergeladen werden.

2015 endete zwar die direkte Projektförderung von TextGrid, aber ein nachhaltiger Betrieb des Repositories und der transferierten Daten war mit der Einbindung in die digitale Forschungsinfrastruktur DARIAH-DE (Digital Research Infrastructure for the Arts and Humanities) gesichert.

Aktuell (Q1/2021) liegt „Die Digitale Bibliothek bei TextGrid“ in drei verschiedenen Versionen vor: Es werden zwei Versionen zum Download bereitgestellt, wobei darin ähnlich wie bei Zeno.org jedem Autor eine Datei entspricht. Die komplexe article-Verschachtelung wurde durch TEICorpus-Elemente ersetzt, welche dann die Einzelwerke als TEI enthalten. Die Online-Version von TextGrid entspricht Version II, wobei auf die TEI-Corpus-Mantelung verzichtet wurde mit dem Ergebnis, dass die Werke in knapp 100.000 einzelnen TEI-Dateien vorliegen, wobei jede Datei eine PID enthält. Bei einer solchen Datei kann es sich im Falle eines Romans z. B. um ein ganzes Buch handeln, im Falle eines Gedichtsbandes aber auch um einen Vierzeiler. Die mehr als 300.000 items erklären sich durch das spezifische Metadaten-Handling des TextGrid Repositories.

Aufgrund des großen Datenbestandes haben die Betreiber frühzeitig die Anbindung an die Community gesucht und für Bug-Reports ein Ticket-System eingerichtet. Es war v. a. das Projekt GerDraCor um Frank Fischer, das speziell im Bezug auf die in der Textsammlung enthaltenen Dramen auf verschiedene Probleme aufmerksam gemacht hat. So liegen z. B. bei <speaker>, <lg> und <closer> teils semantisch falsche Auszeichnungen vor. Außerdem führte die Transformation nach TEI z. B. bei Akt- oder Szenenüberschriften, Regieanweisungen, Vorwörter und Anhänge unter Umständen zu Textverlust.

Neben diesen 2+1 TextGrid-Versionen liegt eine weitere, bislang nicht veröffentlichte Version von 2017 vor. In dieser wurden einige bekannte Bugs und Textverluste beseitigt. Details des Textgrid-Korpus:

Der Autor mit den meisten Beiträgen: Friedrich von Logau: Sämmtliche Sinngedichte 3.559*
Das längste Werk nach Token: Großmütiger Feldherr Arminius 1.994.905
Das kürzeste Werke nach Token: Widmung 89
Das größte Werk nach Dateigröße: Luther-Bibel 1545 35.711.701
Das kleinste Werk nach Dateigröße: Widmung 3.117

*) Die „meisten Beiträge“ bedeutet in diesem Fall tatsächlich, dass es sich um ein einziges Buch des Autoren Friedrich von Logau handelt. Dieses enthält insgesamt 3.559 Einzelgedichte.

Das TextGrid Repository nimmt folgende Kategorisierung der enthaltenen Texte vor und bietet entsprechende Suchfilter an:

Genre** Anzahl
verse 118.060
other 58.792
prose 6.663
drama 1.461
gesamt 184.976

**) https://textgridrep.org/facet/work.genre und weiter eingeschränkt auf den Bestand aus der „Digitalen Bibliothek“.

Weitere TGRep-Ressourcen bzw. Derrivate der „Digitalen Bibliothek“

GerDraCor

Das German Drama Corpus (GerDraCor) enthält zurzeit knapp 500 Dramen. Diese stammen größtenteils aus der „Digitalen Bibliothek bei TextGrid“. Die Texte stehen im TEI P5-Format unter der CC0-Lizenz zur Verfügung und bilden ein Referenzkorpus von deutschsprachigen Dramen aus dem Zeitraum zwischen 1730 und 1940. Das Korpus dient vor allem der computergestützten Dramenanalyse.

Im Vergleich zu den Ursprungsdaten aus dem TextGrid Repository weisen diese Daten ausführlichere Metadaten im Bereich der Datumsangaben auf. Damit kann zwischen den Daten der Veröffentlichung (print), der Premiere (premiere) und der Erstellung (written) des Dramas unterschieden werden. Daneben sind die Sprecher im Drama durch eine eindeutige Identifikation (ID) voneinander zu unterscheiden. Für eine ausführliche Analyse auch im Kontext der Integration von Daten in neue Textsammlungen und die gegenseitige Anreicherung siehe den BlogPost zur Bereichernden Anreicherung.

IDS-i5

Vom Leibniz-Institut für Deutsche Sprache (IDS) in Mannheim wurde 2017 die komplette „Digitale Bibliothek“ konvertiert und in Das Deutsche Referenzkorpus (DeReKo) integriert. Das hier als i5 bezeichnete Korpus wird unter einer CC-BY-SA-Lizenz bereitgestellt. i5 liegt in einer 2,2 GB großen XML-Datei vor und wurde zusätzlich ausgehend von der ursprünglichen Zeno.org-Struktur in kleinere themenspezifische Dateien aufgeteilt.

Im Vergleich zur Version des TextGrid-Repositories wurden vom IDS nach eigenen Angaben Anreicherungen im Bereich der Metadaten vorgenommen. Diese Anreicherungen wurden auf Grundlage eines regelbasierten Ansatzes aus den originalen bibliographischen Angaben von Zeno.org gewonnen. Signifikante Verbesserungen gibt es dabei v.a. im Bereich der Verlagsangaben (<publisher>) wie auch des Erscheinungsdatums, wobei für Letzteres ein zusätzliches <date>, das sogenannte <creatDate> eingeführt wurde. Diese zusätzliche Anreicherung ist insofern hilfreich, als das <date> der Originaldaten häufig nicht das Datum der Ersterscheinung des Werkes enthält.

CLARIAH-DE

Anfang 2019 schlossen sich die Forschungsinfrastrukturen CLARIN-D und DARIAH-DE zu CLARIAH-DE zusammen. Innerhalb von CLARIAH-DE ist das Arbeitspaket „Forschungsdaten, Standards und Verfahren“ im Rahmen der Zusammenführung und Homogenisierung digitaler Datenbestände u. a. zuständig für die Konvertierung ausgewählter TEI-Ressourcen des TextGrid Repositories in das Basisformat des Deutschen Textarchivs (DTABf). Durch diese digitale Transformation wird den Forschenden im Bereich der Geistes- und Sozialwissenschaften die „Digitale Bibliothek bei Textgrid“ als eigenständiges Korpus im Deutschen Textarchiv zur Verfügung gestellt. Dieser zentrale Bestand des TextGrid Repositories ist damit zugleich durch die im Projekt CLARIN-D entwickelten Werkzeuge erschlossen.

Die Evaluation der verschiedenen Umwandlungen des Zeno-Datenbestandes in den vorangegangenen Projekten hat ergeben, dass sowohl die Datenqualität als auch die Komplexität der Ergebnisse unterschiedlich einzuschätzen sind. Der Bestand des DTA bezieht sich in der Regel auf ein Werk, einen Band oder eine Ausgabe. Der Literatur-Ordner der ursprünglich von Zeno.org bereitgestellten „Digitalen Bibliothek“ umfasst im TextGrid Repository hingegen über 90.000 Einzeltexte von 690 verschiedenen Autoren. Dabei handelt es sich um XML-bzw. TEI P5-Dateien, die im projektspezifischen TextGrid Baseline Encoding kodiert sind.

Das Ziel im Projekt CLARIAH-DE bestand in der Harmonisierung und Zusammenführung der verschiedenen zur Verfügung stehenden Datensätze. Für die Einspielung der Textsammlung in die DTA-Infrastruktur an der BBAW müssen 1) der vorliegende Datenbestand auf Werkebene zusammengefasst werden. Erfolgt 2) eine Konversion der Daten in das Basisformat des Deutschen Textarchivs (DTABf). Und 3) ist neben der Transformation der Element-/Attribut-Paare in die vom DTABf geforderte Systematik v. a. die Generierung valider Metadaten im Bereich des TEIHeaders notwendig. Neben der werksspezifischen Zusammenführung der Daten hat sich Letzteres als besondere Herausforderung herausgestellt, was nicht zuletzt an den nicht spezifisch annotierten Metadaten im Zeno.org-Katalog liegt.

Im Projekt CLARIAH-DE wurden die bibliographischen Metadaten zu den Texten der „Digitalen Bibliothek“ teils semiautomatisch und teils händisch annotiert, sodass die Quellen im Bereich der sogenannten Source-Description im TEIHeader standardkonform kodiert werden können. Zudem wurden die Daten mit Informationen angereichert, die im Rahmen der bereits genannten Projekte des IDS und von GerDraCor hinzugefügt wurde. Für die Vernetzung mit diesen Daten wurden außerdem automatisiert Permalinks aus beiden Projekten in die DTABf-Header übernommen.

Eine ausführliche Dokumentation zu den an den Originaldaten vorgenommenen Korrekturen und Anreicherungen sowie der eigentlichen Konversion der Daten wird im Rahmen der Projektdokumentation erfolgen. Für einen Einblick in die sowohl manuellen wie auch skript-basierten Anreicherungen der Metadaten sei zudem verwiesen auf den Blog-Post „Über bereichernde Anreicherungen“.

Die Digitale Bibliothek im Deutschen Textarchiv

Voraussetzung für die Integration der „Digitalen Bibliothek“ in die DTA-Infrastruktur ist eine Kodierung im Basisformat des Deutschen Textarchivs (DTABf). Durch diese Kodierung wird eine automatische Analyse der Texte mit verschiedenen Werkzeugen (DTA-Tokwrap, DDC, CAB) ermöglicht. Dadurch können anschließend die DWDS-Werkzeuge (Korpussuche, Frequenzdatenbank, Wortverlaufskurven und DiaCollo) für die statistische Analyse des Wortschatzes zur Anwendung kommen.

Durch die linguistische Analyse mittels CAB stehen die im DTA integrierten (historischen) Texte neben der ursprünglichen DTABf-kodierten XML-Version und der daraus generierten TXT-Version, als transliterierter, normalisierter, wie auch lemmatisierter Text zur Verfügung. Zugriff auf die Metadaten erlaubt neben dem TEIHeader auch ein CMDI-, sowie ein Dublin Core-Datensatz.

Ein zentrales Feature ist die Suche in den Korpora mittels der linguistischen Suchmaschine DDC. Neben konkreten Wort- oder Grundformen (Lemmata), kann die Suchanfrage durch Wortarten-, Kontext- und sogar Metadatenfilter verfeinert werden. Die Suche funktioniert zudem korpusübergreifend.  Neben der Suche stehen zwei weitere Tools für die linguistische Analyse des Datenbestandes zur Verfügung: Die Wortverlaufskurve zeigt die Häufigkeit an, mit der ein Wort im Laufe der Zeit verwendet wird. Diese Art der Darstellung ist durch den Google Books Ngram Viewer bekannt gemacht worden. DiaCollo wiederum dient zur diachronen Kollokationsanalyse. Damit kann untersucht werden, wie sich die Häufigkeiten im gemeinsamen Vorkommen von Wörtern ändern. 

Mit der im Projekt CLARIAH-DE vorgenommenen Konversion des Literatur-Ordners der ursprünglich von Zeno.org bereitgestellten „Digitalen Bibliothek“ in das DTABf und die dadurch möglich gewordene Integration des neuen dstar-Korpus DiBiLit in die DTA-Infrastruktur der BBAW wird der Textsammlung auf www.zeno.org und textgridrep.org (sowie im Falle der Dramen auf github.com/dracor-org/gerdracor) nicht nur eine weitere v. a. im Bereich der Metadaten fundamental aufgewertete Version an die Seite gestellt. Die Zusammenführung und Homogenisierung der Textdaten aus den hier genannten Infrastrukturen (die im Bereich der TEIHeader jeweils Permalinks auf die relevanten Ressourcen enthalten) ermöglicht korpusübergreifende, linguistische Textanalysen mit den oben genannten Werkzeugen, die für die Community einen echten Mehrwert darstellen.

Referenzen/Links

Bertino, Andrea: TextGrid – Die Virtuelle Forschungsumgebung der Digital Humanities. In: DHd Blog, 25. November 2019. URL: https://dhd-blog.org/?p=12576

Funk, Stefan Edwin. „Elektronisches Publizieren von Digitalen Forschungsdaten am Beispiel des TextGrid Repositorys Umsetzung von Digitalen Publikationsworkflows für die eHumanities“, 2018. https://publiscologne.th-koeln.de/frontdoor/deliver/index/docId/1172/file/MAT_Funk_Stefan.pdf.

Neuroth, Heike; Rapp, Andrea; Söring, Sibylle (Hrsg.): TextGrid: Von der Community – für die Community. Eine Virtuelle Forschungsumgebung für die Geisteswissenschaften. 2015. DOI: 10.3249/webdoc-3947

Geyken, Alexander; Matthias Boenig, Susanne Haaf, Bryan Jurish, Christian Thomas und Frank Wiegand: Das Deutsche Textarchiv als Forschungsplattform für historische Daten in CLARIN. In: Henning Lobin, Roman Schneider, Andreas Witt (Hgg.): Digitale Infrastrukturen für die germanistische Forschung (= Germanistische Sprachwissenschaft um 2020, Bd. 6). Berlin/Boston, 2018, S. 219–248. Online-Version, DOI: 10.1515/9783110538663-011.

http://www.deutschestextarchiv.de/doku/software: Enthält einen Überblick über die Software des Deutschen Textarchivs.

https://www.deutschestextarchiv.de/dibilit: Neues dstar-Korpus mit den im Projekt CLARIAH-DE konvertierten Texten des Literaturordners der Digitalen Bibliothek.

https://www.dwds.de/stats: Enthält eine Dokumentation der DWDS-Werkzeuge zur statistischen Textanalyse.

https://textgrid.de/digitale-bibliothek: Enthält eine Dokumentation und die Lizenzierung des Archivs sowie eine Aufstellung der detaillierten Arbeitsschritte wie auch bekannter Bugs.

https://github.com/dracor-org/gerdracor: Das GermanDramaCorpus auf github.

http://www.zeno.org/Literatur: Der Literatur-Ordner der Digitalen Bibliothek auf Zeno.org.

Ein Blick in die Werkstatt: Bestimmung des Veröffentlichungsdatums bei Webseiten

Datumsangaben als wissenschaftlicher Gegenstand

Obwohl Text im Web allgegenwärtig ist, kann sich das Extrahieren von Webseiteninformationen als schwierig erweisen. Webdokumente gibt es in ganz unterschiedlichen Formaten, vor allem wegen der großen Vielfalt an Genres, Plattformen und Content-Management-Systemen und nicht zuletzt aufgrund sehr unterschiedlicher Publikationsziele seitens der jeweiligen Betreiber.

In den meisten Fällen enthalten die unmittelbar zugänglichen Daten auf abgerufenen Webseiten keine substanziellen oder genauen Informationen: Weder die URL noch die Serverantwort bieten eine zuverlässige Möglichkeit, ein Webdokument zu datieren, d.h. herauszufinden, wann es veröffentlicht oder möglicherweise verändert wurde. In diesem Fall ist es notwendig, das Dokument vollständig zu erkunden oder anhand von robusten Heuristiken zu durchforsten. Diese Aufgabe wird häufig Web Scraping genannt (gezieltes Extrahieren der benötigten Daten).

Ein Blick in die Werkstatt: Bestimmung des Veröffentlichungsdatums bei Webseiten weiterlesen

Zum neuen Jahr neue Zeitungsquellen im ZDL-Regionalkorpus

Autoren: Alexander Geyken und Andreas Nolda

Seit dem 4. Januar 2021 sind im ZDL-Regionalkorpus des Zentrums für digitale Lexikographie der deutschen Sprache zusätzliche Zeitungsquellen verfügbar, die bisher unterrepräsentierte Areale oder Zeiträume abdecken. In den sechs Spracharealen (D-Nordwest bis D-Südost), die gegenwärtig vom ZDL-Regionalkorpus abgedeckt werden, können nunmehr 26 Zeitungsquellen recherchiert werden. Der Bestand des ZDL-Regionalkorpus wächst damit um gut 2 Mrd. Tokens auf ca. 8,65 Mrd. Tokens in 30 Mio. Dokumenten.

Für die Einräumung der Nutzungsrechte, die den angemeldeten Nutzerinnen und Nutzern des DWDS Korpusrecherche in diesen Zeitungsquellen ermöglicht, möchten wir uns bei allen unten genannten Zeitungsverlagen bedanken. Ein besonderer Dank geht an die GBI-Genios Deutsche Wirtschaftsdatenbank GmbH, die die in Corona-Zeiten bisweilen langwierigen Rechteverhandlungen mit den Zeitungsverlagen sehr zielgerichtet und im Sinne der Nutzerinnen und Nutzer des DWDS geführt hat und für die digitale Bereitstellung der Quellen der unten aufgeführten Zeitungen sorgt (außer der Süddeutschen Zeitung). Schließlich möchten wir uns bei der Dokumentations- und InformationsZentrum München GmbH für die Einräumung der Nutzungsrechte sowie die Bereitstellung der digitalen Daten der Süddeutschen Zeitung bedanken.    

Zur Anmeldung für die Recherche im ZDL-Regionalkorpus: https://www.dwds.de/r/?corpus=regional.

Zum neuen Jahr neue Zeitungsquellen im ZDL-Regionalkorpus weiterlesen

Die Webkorpora im DWDS: Jahresrückblick

Mit Hilfe großer Korpora können Hypothesen über die Verwendung lexikalischer Einheiten empirisch belegt werden. Das DWDS bietet dafür, neben den zeitlich und in Bezug auf Textsorten ausgewogenen Referenzkorpora und den Zeitungskorpora, eine Reihe von allgemeinen und spezialisierten Korpora an. Letztere heben sich hinsichtlich ihres Gegenstandes oder ihrer sprachlichen Charakteristika von den erstgenannten Korpora ab.

Wie aber werden für das Webkorpus relevante Webseiten “entdeckt”? Es gibt derzeit kein umfassendes Verzeichnis von Webseiten oder Blogs, von dem man für die Zusammenstellung einer solchen Textsammlung ausgehen könnte. Es bedarf also maschineller Methoden, das Web wird via Webcrawling erkundet und Funde im Anschluss in Bezug auf ihre Qualität bewertet. Bei diesem Vorgehen streben wir über die Integration statistischer Merkmale und über formale Kontrollen an, ein Gleichgewicht hinsichtlich des Inhalts zu gewährleisten. Auf diese Weise haben wir die Webkorpora im DWDS auch im Jahr 2020 massiv erweitern und umstrukturieren können. Dieser Blogeintrag möchte die wichtigsten Änderungen und Neuerungen zusammenfassen.

Die Webkorpora im DWDS: Jahresrückblick weiterlesen

Virtuelles DH-Kolloquium am 4.12.2020: „Dynamische Formate im DWDS“

Am Freitag, dem 4. Dezember 2020, von 17 Uhr bis ca. 19 Uhr, findet erneut das virtuelle DH-Kolloquium der BBAW statt. Diesmal werden PD Dr. Alexander Geyken und Julia Naji (beide Berlin-Brandenburgische Akademie der Wissenschaften) die neuen dynamischen Formate des Digitalen Wörterbuchs der Deutschen Sprache (DWDS) vorstellen.

Der Vortrag wird vorab aufgezeichnet und rechtzeitig vor Beginn des Kolloquiums bereitgestellt. Der Link zum Vortrag wird parallel auf Twitter (@DHBBAW) sowie im Channel „berlin_dhberlin“ auf der Plattform discord (⇒ Einladungslink: https://discord.gg/sw4D5NN) gepostet.

Weitere Informationen zur Veranstaltung sowie das Abstract zum Vortrag finden Sie unter: https://dhd-blog.org/?p=14696

Näheres zur Veranstaltungsreihe erfahren Sie unter: https://www.bbaw.de/bbaw-digital/digital-humanities/aktivitaeten-und-veranstaltungen/dh-kolloquium

Heute: Virtuelles DH-Kolloquium zum Thema: „Redewiedergabe“

Am heutigen 13. November 2020, von 17 Uhr bis ca. 19 Uhr, findet erneut das virtuelle DH-Kolloquium der BBAW statt, diesmal mit Referentin Dr. Annelen Brunner (Leibniz-Institut für Deutsche Sprache Mannheim) und dem Thema: „Redewiedergabe – Korpusressourcen & Automatische Erkenner“.

Der Vortrag wurde vorab aufgezeichnet und kann unter https://vimeo.com/477623161 angesehen werden. Ab 17 Uhr findet dann heute die Diskussion zum Vortrag im Channel „berlin_dhberlin“ auf der Plattform discord (⇒ Einladungslink: https://discord.gg/sw4D5NN) statt.  Seien Sie herzlich eingeladen, dort mitzudiskutieren!

Weitere Informationen zur Veranstaltung finden Sie unter: https://dhd-blog.org/?p=14587

Näheres zur Veranstaltungsreihe erfahren Sie unter: https://www.bbaw.de/bbaw-digital/digital-humanities/aktivitaeten-und-veranstaltungen/dh-kolloquium

Digitalisierung, Aufbereitung und Annotation des Friedhofsregisters der jüdischen Gemeinde zu Strelitz (1740–1923)

Der folgende Artikel erläutert die einzelnen Schritte, die angewandt wurden, um das Friedhofsregister der jüdischen Gemeinde zu Strelitz so aufzubereiten, dass es volltextdurchsuchbar, maschinenlesbar, XML-annotiert und im Ausgangsformat als TEI/XML sowie ALTO verfügbar ist. Am Ende stehen zwei „Produkte“: Einerseits die Ansicht des TEIs im Deutschen Textarchiv, zur Korrektur und vollen Nutzbarkeit des TEI; andererseits die Ansicht im DFG-Viewer mittels generierter METS, zur zeilengenauen Ansicht des transkribierten Textes.
Digitalisierung, Aufbereitung und Annotation des Friedhofsregisters der jüdischen Gemeinde zu Strelitz (1740–1923) weiterlesen

Neues Korpus zur Sprache des 20. Jahrhunderts: Das „Archiv der Gegenwart“

Seit Ende Oktober 2020 steht auf der DWDS-Plattform mit dem Archiv der Gegenwart (AdG) ein weiteres Korpus für Recherchen zur deutschen Sprache des 20. Jahrhunderts zur Verfügung. Der Zugang zur Recherche ist dank der freundlichen Nutzungsgenehmigung von Edition Lempertz/Brandenburgisches Verlagshaus ohne Anmeldung möglich. Für die Anzeige von mehr als einem Kontextsatz ist eine Anmeldung erforderlich.

Neues Korpus zur Sprache des 20. Jahrhunderts: Das „Archiv der Gegenwart“ weiterlesen

Neubearbeitung des Deutschen Wörterbuchs von Jacob Grimm und Wilhelm Grimm

Mit Abschluss des Projekts (Retro-)Digitalisierung und Internetpublikation der Neubearbeitung des Deutschen Wörterbuchs von Jacob Grimm und Wilhelm Grimm ist dieses Wörterbuch nun auch auf der DWDS-Webseite eingebunden. In Zusammenarbeit des Trier Center for Digital Humanities, der Akademie der Wissenschaften zu Göttingen und der Berlin-Brandenburgischen Akademie der Wissenschaften wurde diese Ressource im Zeitraum von 2016 bis 2020 elektronisch aufbereitet und steht nun frei auf den jeweiligen digitalen Plattformen für die Recherche zur Verfügung.

Neubearbeitung des Deutschen Wörterbuchs von Jacob Grimm und Wilhelm Grimm weiterlesen

Über bereichernde Anreicherung. Wechselseitige Annotation von Dramen als Subkorpus der Digitalen Bibliothek zwischen Zeno.org, TGRep, GerDraCor und DTA

Autoren: Marius Hug, Matthias Boenig, Yannic Bracke, Frank Fischer, Susanne Haaf, Christian Thomas

Intro

Im folgenden Beitrag soll gezeigt werden, wie deutschsprachige Dramen aus den zwei Textsammlungen TextGrid Repository (TGRep) und German Drama Corpus (GerDraCor) unter Einbeziehung von Metadaten aus einer externen Katalogdatei in das Basisformat des Deutschen Textarchivs (DTABf) transformiert werden. Die Dramen stellen im TGR ein Subkorpus der „Digitalen Bibliothek“ dar und wurden, wie auch der Metadatenkatalog, ursprünglich von zeno.org publiziert. Dieser UseCase mit dem Ziel der gegenseitigen Bereicherung wurde im Rahmen des CLARIAH-DE-Projektes realisiert.

Über bereichernde Anreicherung. Wechselseitige Annotation von Dramen als Subkorpus der Digitalen Bibliothek zwischen Zeno.org, TGRep, GerDraCor und DTA weiterlesen

Erweiterung der Korpora im DWDS um die Rubrik „Metakorpora“

Mit einem Update vom 7. Mai 2020 wurden die Korpora im DWDS um die Rubrik Metakorpora erweitert. In einem Metakorpus sind mehrere Einzelkorpora gebündelt. Der Vorteil aus Nutzer/innen-Sicht besteht darin, dass thematisch verwandte Einzelkorpora über das entsprechende Metakorpus mit nur einer einzigen Suchanfrage durchsucht werden können. Im Einzelnen: Erweiterung der Korpora im DWDS um die Rubrik „Metakorpora“ weiterlesen

Ins Netz gegangen. Datenkuration im Deutschen Textarchiv am Beispiel der „Meerwunder“-Edition

– ein Beitrag von Nora Ketschik (Universität Stuttgart) und Christian Thomas (BBAW)

Die Erzählung vom „Meerwunder“

Das „Meerwunder“ ist eine im Nürnberger Raum überlieferte Erzählung aus dem 15. und 16. Jahrhundert, die in drei Fassungen in einem Editionsprojekt der Universität Stuttgart erschlossen und ediert worden ist. Im vorliegenden Beitrag möchten wir die Editionsgeschichte der drei „Meerwunder“-Texte vor dem Hintergrund ihrer jeweiligen Überlieferungssituation genauer erläutern und ein Best Practice-Verfahren für die digitale Aufbereitung von Textsammlungen vorstellen.

Ins Netz gegangen. Datenkuration im Deutschen Textarchiv am Beispiel der „Meerwunder“-Edition weiterlesen

Neu im DWDS: Das ZDL-Regionalkorpus

Ab dem 5. März 2020 ist auf der DWDS-Plattform das ZDL-Regionalkorpus des Zentrums für digitale Lexikographie der deutschen Sprache verfügbar, mit dessen Hilfe regionale Variation im deutschen Gebrauchsstandard untersucht werden kann. In der aktuellen Version ist das Korpus mit 6,2 Mrd. Tokens in 20,8 Mio. Dokumenten nun das größte recherchierbare Korpus auf der DWDS-Plattform. Aus lizenzrechtlichen Gründen ist das Korpus erst nach Anmeldung nutzbar; die Anmeldung ist jedoch unkompliziert und ohne Kosten.

Zur Anmeldung für die Recherche im ZDL-Regionalkorpus: https://www.dwds.de/r/?corpus=regional.

Neu im DWDS: Das ZDL-Regionalkorpus weiterlesen

Digillu-Workshop: Zusammenstellung und Erschließung von Korpusdaten

Beschreibung

Methoden zur Zusammenstellung und Erschließung von Texten werden nicht nur in der Linguistik, sondern allgemein in den Geisteswissenschaften und jenseits von fachlichen Grenzen vielseitig eingesetzt, nicht zuletzt seit dem empirical turn. Ohne maschinell gestützte Herangehensweisen sind manche Textsammlungen nicht mehr produktiv für die Forschung zu greifen, zu überprüfen oder zu durchleuchten. Es wird nicht mehr nur gelesen, es wird immer häufiger auch eingelesen, wobei diese Entwicklung und die damit einhergehenden Denkverfahren, Arbeitsschritte und Standards hinterfragt und eingeordnet werden sollten.

Digillu-Workshop: Zusammenstellung und Erschließung von Korpusdaten weiterlesen