Archiv der Kategorie: Ressourcen

Beschreibung von Sprachkorpora, Wörterbüchern im Zentrum Sprache Umfeld

(Vor-)Weihnachtliche Brauchtumsfiguren in Deutschland, Österreich und der Schweiz

Der Advent und die Weihnachtszeit sind in Deutschland und seinen Nachbarländern bis heute von teils jahrhundertealtem Brauchtum geprägt. Einige dieser Bräuche sind im ganzen deutschsprachigen Raum verbreitet, andere nur in bestimmten Regionen oder gar nur in einem bestimmten Ort zu finden. Wieder andere werden zwar überregional gepflegt, tragen je nach Region aber verschiedene Namen.

In unserem DWDS-Weihnachtsglossar werden Sie Dinge entdecken, von denen Sie vielleicht noch nie gehört haben, die für andere wiederum aus der Weihnachtszeit nicht wegzudenken sind. Vielleicht stellen Sie auch fest, dass es für ein und dieselbe Sache gar nicht allzu weit entfernt von daheim eine völlig andere, lustige, obskure oder kurios anmutende Bezeichnung gibt. In diesem Beitrag wollen wir uns den (vor-)weihnachtlichen Geschenkebringern und ihren Gehilfen widmen. 

(Vor-)Weihnachtliche Brauchtumsfiguren in Deutschland, Österreich und der Schweiz weiterlesen

Mit vereinten Kräften. Ergebnisbericht einer Zusammenarbeit des ZDL mit CLARIAH-DE im Kontext der kollaborativen Anreicherung von Metadaten

Einleitung

Ein Schwerpunkt des vom BMBF geförderten Verbundprojekts CLARIAH-DE (Förderzeitraum: 2019 bis 2021) bestand in der Abstimmung von gemeinsamen Standards und Verfahren für die Erstellung, Aufbereitung und Archivierung von Daten und Werkzeugen. Eine Arbeitsgruppe an der BBAW befasste sich im Arbeitspaket „Forschungsdaten, Standards und Verfahren“ mit der Zusammenführung und Homogenisierung digitaler Datenbestände. Dazu wurden ausgewählte TEI-Ressourcen des TextGrid Repository im Hinblick auf eine Integration in die Infrastruktur des Deutschen Textarchivs (DTA) evaluiert. Das Ziel bestand darin, substantielle Teile der ursprünglich von Directmedia Publishing GmbH digitalisierten „Digitalen Bibliothek“ in das Basisformat des Deutschen Textarchivs (DTABf) zu  transformieren und den Datensatz v.a. im Bereich der Metadaten qualitativ aufzuwerten. Das Ergebnis ist ein neues, in die DTA-Infrastruktur integriertes Textkorpus, das DiBiLit-Korpus.

Das ebenfalls seit 2019 vom BMBF in der Aufbauphase finanzierte Zentrum für digitale Lexikographie der deutschen Sprache (ZDL) hat u.a. zum Ziel, verlässlich und umfassend den deutschen Wortschatz und damit auch seine Varietäten – d.h. regionale und stilistische Varianten – zu beschreiben. Eine wichtige Säule für diese Beschreibung des deutschen Wortschatzes im Wörterbuch besteht in Textkorpora als empirischer Grundlage: „Ein Gutteil der lexikographischen Arbeit besteht darin, die Bedeutungsbeschreibungen der Wortartikel aus den Verwendungen in den Textkorpora abzuleiten.“ (Geyken 2019, 37)

Um Aussagen darüber treffen zu können, aus welchem Kontext dieses oder jenes Wort stammt, wird dabei die Zuordnung zu bestimmten Textkategorien von großer Bedeutung sein. Zudem interessiert neben der Frage, „was“ ein Wort bedeutet, natürlich auch der zeitliche Verwendungsrahmen, also die Frage, „wann“ dieses Wort verwendet wurde. Diese und weitere Kriterien werden bei der Anreicherung vorhandener sowie der Erstellung neuer Textkorpora zu berücksichtigen sein.

Kollaboration

Im folgenden kurzen Bericht wird anhand von drei Beispielen gezeigt, wie bei der Erstellung und Aufbereitung von Datensätzen deren Anschlussfähigkeit bzw. Nachnutzbarkeit optimiert werden kann:

a) Datum der Ersterscheinung

Das Hauptziel des von 2007 bis 2016 von der DFG finanzierten Projekts „Deutsches Textarchiv“ bestand in der Erstellung eines Textkorpus, das einen disziplinen- und gattungsübergreifenden Grundbestand deutschsprachiger Texte aus dem Zeitraum von ca. 1600 bis 1900 für Interessierte und Forschende bereitstellt. Von anderen umfangreichen Textsammlungen wie Google Books, Wikisource oder dem Projekt Gutenberg-DE unterscheidet sich das DTA durch die sorgfältige Auswahl der Texte und Ausgaben, die sehr hohe Erfassungsgenauigkeit, die strukturelle und linguistische Erschließung der Textdaten sowie die Verlässlichkeit der Metadaten. Ein wichtiges Instrumentarium bei der Entwicklung des Korpus war die Etablierung eines einheitlichen Formates, des DTA-Basisformats (DTABf). Dieses TEI-Subset erfordert v.a. im Bereich der Metadaten eine vergleichsweise strikte und detaillierte Dokumentation von bibliographischen und formal-technischen Daten. Die Annotationsregeln im Bereich der DTABf-Header sind jedoch die Voraussetzung dafür, dass das DTA mit seinem sprachgeschichtlichen Fokus den historischen Sprachstand möglichst genau abbilden kann. Als konkrete Folge dieser Anforderung wurden bei der Erstellung des DTA-Kernkorpus in aller Regel die historischen Erstausgaben als Vorlage für die Digitalisierung gewählt.

Das Erscheinungsdatum der verwendeten Ausgabe wird im DTABf wie sonst üblich innerhalb des <publicationStmt> in der <sourceDesc> festgehalten:

<sourceDesc>
  ...
  <biblFull>
    ...
    <publicationStmt>
      ...
      <date type="publication">1853</date>
    </publicationStmt>
  </biblFull>
  ...
</sourceDesc>

Die Vorlagen für den durch TextGrid von der Editura GmbH & Co. KG erworbenen Datensatz der „Digitalen Bibliothek“ haben keine derartigen Einschränkungen. Hier muss also in der Regel davon ausgegangen werden, dass es sich eher nicht um die Erstausgaben der Texte handelt. Das oben verwendete <date type="publication"> hilft demnach bei der Abbildung des historischen Sprachstands nicht weiter, da der Text evtl. von 1827 stammt, für die Digitalisierung aber eine Ausgabe von 1966 genutzt wurde. Der Ausweg bestand hier in der Einführung eines weiteren <date>-Elements. In diesem kann per @firstPublication das Datum der Ersterscheinung festgehalten werden, während das Datum der verwendeten Ausgabe per <date type="publication"> annotiert wird.

Was hier auf der technischen Ebene der XML-Umsetzung vergleichsweise banal erscheint, stellte für das Projekt CLARIAH-DE und die Konvertierung von Texten der „Digitalen Bibliothek“ eine enorme Herausforderung dar. Nicht nur stand dort in den meisten Fällen kein Datum der Ersterscheinung zur Verfügung, so dass dieses erst ermittelt werden musste. Aus verschiedenen Gründen fehlten zudem in den Metadaten von rund 30% der Titel generell ein Datum. Die so notwendig gewordenen umfangreichen Nachrecherchen sowie, wenn möglich, die Anreicherung um das Datum der Ersterscheinung wurde in einer Kooperation zwischen CLARIAH-DE und ZDL umgesetzt.

b) DTA-Werkebene

Eine andere projektspezifische Herausforderung bei der Konversion der Texte aus der „Digitalen Bibliothek“ im TextGrid Repository bestand in der Wiederherstellung der Werkebene. Diese stand ganz am Beginn des DiBiLit-Konversionsworkflows und war deswegen nötig geworden, weil die ursprünglich autorbasierten XML-Dateien der Directmedia mit einer tief geschachtelten <article>-Struktur im TextGrid Repository in die jeweils kleinste Einheit aufgespalten worden waren. Aus einem einzelnen Gedichtband, der in den Originaldaten also mit einem umschließenden <article> annotiert war, wurden im TextGrid Repository bspw. rund 3.000 eigenständige TEI-Dateien mit jeweils einem eigenen Metadatensatz im TEI-Header.

Der DTA-Logik entspricht die Integration von Texten in der Regel auf Werkebene, d.h. der zuvor aufgesplittete Gedichtband musste wieder zusammengesetzt werden und einen werkspezifischen DTABf-Header erhalten. Die Schwierigkeit bestand darin, dass die Originaldaten und damit die einzelnen Header im TextGrid Repository evtl. Metainformationen über die Erscheinung des Einzelgedichts enthalten, die bei der Rückführung auf die Werkebene nicht verloren gehen sollten. Für diesen Zweck wurde in Zusammenarbeit mit dem ZDL ein Workflow für die Zuordnung der Einzelgedichte zu deren Metadaten in einem eigenen <note>-Element im DTABf-Header entwickelt. Dazu wurde für jedes einzelne <note>-Element innerhalb des <notesStmt> in der <sourceDesc> über eine @xml:id mit dem zugehörigen Textteil in //body/div verknüpft:

<notesStmt>
  <note type="remarkDocument" corresp="#Zesen-d1e403">
    Erstdruck: Hall (Peter Schmied) 1638.
  </note>
  <note type="remarkDocument" corresp="#Zesen-d1e1661">
    Erstdruck: Hamburg (Heinrich Werner) 1641.
  </note>
  <note type="remarkDocument" corresp="#Zesen-d1e16476">
    Erstdruck: Hamburg (Jacob Rebenlein) 1642.
  </note>
  <note type="remarkDocument" corresp="#Zesen-d1e19061">
    Erstdruck: Hamburg (Johann Naumann) 1651.
  </note>
</notesStmt>
 
c) DWDS-Textsortenklassifikation

Als letztes Beispiel sei hier auf die Gattungszuordnung der einzelnen Werke verwiesen. Diese ist bspw. die Voraussetzung für gezielte Suchanfragen innerhalb des neuen Korpus. Das TextGrid Repository ermöglicht den Zugriff auf „drama“, „prose“, „verse“ und „other“. Den Originaldaten lassen sich aber deutlich mehr Textgattungen entnehmen.

Im Projekt CLARIAH-DE wurde das Ziel formuliert, die vielen einzelnen Texte einer Auswahl von rund 10 Gattungen zuzuordnen. Diese Zuordnung wurde manuell über eine Mapping-Datei vorgenommen. Für die korpusübergreifende Suche wurde aber zusätzlich – und erneut in einer Kollaboration mit dem ZDL – ein Mapping auf die im DTA verwendeten Kategorien des „Digitalen Wörterbuchs der Deutschen Sprache“ (DWDS) umgesetzt. So konnten für das komplette DiBiLit-Korpus die Metadaten mit den Textsorten und Inhaltskategorisierungen des DWDS angereichert werden.

<textClass>
  <classCode scheme="zeno.org_Literaturgattung">Roman</classCode>
  <classCode scheme="#dwds1main">Belletristik</classCode>
  <classCode scheme="#dwds1sub">Roman</classCode>
  <classCode scheme="#DTACorpus">DiBiLit</classCode>
</textClass>

Zusammenfassung

Der Bericht zeigt anhand von drei Beispielen, wie bei der Erstellung und Anreicherung von Textkorpora die Möglichkeiten der Nachnutzung der Bestände deutlich optimiert werden können. Dies geschieht allem voran durch den Fokus auf ganz konkrete Nutzungsszenarien. Die Anreicherung der Metadaten um das Datum der Ersterscheinung, die aufwendige Verknüpfung einzelner Ressourcen – hier projektspezifisch umgesetzt im Kontext der Wiederherstellung der Werkebene –, sowie die Zuordnung der Textsortenklassifikation zu den einzelnen Werken garantiert die Vergleichbarkeit der Sammlung mit dem Kernkorpus des DTA und ist gleichermaßen die Voraussetzung, um daraus ein zeitlich und nach Textsorten ausgewogenes Korpus historischer Texte aggregieren zu können.

Die Zusammenarbeit des Projekts CLARIAH-DE mit dem ZDL hat zu einer Aufwertung des Korpus im Bereich der Metadaten geführt, die über die eigentlichen Projektziele von CLARIAH-DE hinausgingen. Andererseits garantiert dieser projektübergreifende Mehraufwand nun die Verwendung der Daten nicht nur korpusübergreifend, sondern macht den Datensatz auch für die Wörterbucharbeit des ZDL nutzbar.

Referenzen

Goalie, Corner, Gurkerl: Österreichische und schweizerdeutsche Regionalismen im Fußball

Während Europa wieder einmal das Fußballfieber gepackt hat, beschäftigt sich auch das DWDS intensiv mit der beliebten Sportart. Unsere Redaktion hat aus der Masse fußballrelevanter Wörter einige der wichtigsten ausgewählt und diese zum Start der Europameisterschaft im DWDS-Fußballglossar zusammengestellt. Wenn Sie Fußballexpertin oder -experte sind und Ihnen trotzdem manche dieser Begriffe nicht geläufig sind, müssen Sie nicht an Ihrer Expertise zweifeln. Unser Glossar enthält nämlich auch eine Auswahl an Austriazismen und Helvetismen, d. h. Ausdrücke, die sich typischerweise in Österreich oder in der Deutschschweiz finden. Diese wollen wir hier etwas genauer unter die Lupe nehmen. Goalie, Corner, Gurkerl: Österreichische und schweizerdeutsche Regionalismen im Fußball weiterlesen

Die Geschichte der Digitalen Bibliothek, oder: Aller guten Kurationen sind drei+

[Letzte Aktualisierung: 16. April 2021]

Autoren: Marius Hug, Matthias Boenig

Die Ursprünge der Digitalen Bibliothek: Directmedia und Zeno.org

Diese Geschichte beginnt im Oktober 1997 mit der CD-ROM „Deutsche Literatur von Lessing bis Kafka“. Mit dieser hat der Verlag Directmedia Publishing, der bereits seit 1992 Erfahrung mit der Publikation von CD-ROMs hatte, erstmals das Konzept der Reihe „Digitale Bibliothek“ vorgestellt. In dieser wurden Texteditionen mit einem umfassenden Themenspektrum von literarischen, wissenschaftlichen bis zu sachbezogenen Texten zum ersten mal digital verfügbar gemacht. Grundlage der „Digitalen Bibliothek“ waren größtenteils gemeinfreie Texte. Die Geschichte der Digitalen Bibliothek, oder: Aller guten Kurationen sind drei+ weiterlesen

Zum neuen Jahr neue Zeitungsquellen im ZDL-Regionalkorpus

Autoren: Alexander Geyken und Andreas Nolda

Seit dem 4. Januar 2021 sind im ZDL-Regionalkorpus des Zentrums für digitale Lexikographie der deutschen Sprache zusätzliche Zeitungsquellen verfügbar, die bisher unterrepräsentierte Areale oder Zeiträume abdecken. In den sechs Spracharealen (D-Nordwest bis D-Südost), die gegenwärtig vom ZDL-Regionalkorpus abgedeckt werden, können nunmehr 26 Zeitungsquellen recherchiert werden. Der Bestand des ZDL-Regionalkorpus wächst damit um gut 2 Mrd. Tokens auf ca. 8,65 Mrd. Tokens in 30 Mio. Dokumenten.

Für die Einräumung der Nutzungsrechte, die den angemeldeten Nutzerinnen und Nutzern des DWDS Korpusrecherche in diesen Zeitungsquellen ermöglicht, möchten wir uns bei allen unten genannten Zeitungsverlagen bedanken. Ein besonderer Dank geht an die GBI-Genios Deutsche Wirtschaftsdatenbank GmbH, die die in Corona-Zeiten bisweilen langwierigen Rechteverhandlungen mit den Zeitungsverlagen sehr zielgerichtet und im Sinne der Nutzerinnen und Nutzer des DWDS geführt hat und für die digitale Bereitstellung der Quellen der unten aufgeführten Zeitungen sorgt (außer der Süddeutschen Zeitung). Schließlich möchten wir uns bei der Dokumentations- und InformationsZentrum München GmbH für die Einräumung der Nutzungsrechte sowie die Bereitstellung der digitalen Daten der Süddeutschen Zeitung bedanken.    

Zur Anmeldung für die Recherche im ZDL-Regionalkorpus: https://www.dwds.de/r/?corpus=regional.

Zum neuen Jahr neue Zeitungsquellen im ZDL-Regionalkorpus weiterlesen

Die Webkorpora im DWDS: Jahresrückblick

Mit Hilfe großer Korpora können Hypothesen über die Verwendung lexikalischer Einheiten empirisch belegt werden. Das DWDS bietet dafür, neben den zeitlich und in Bezug auf Textsorten ausgewogenen Referenzkorpora und den Zeitungskorpora, eine Reihe von allgemeinen und spezialisierten Korpora an. Letztere heben sich hinsichtlich ihres Gegenstandes oder ihrer sprachlichen Charakteristika von den erstgenannten Korpora ab.

Wie aber werden für das Webkorpus relevante Webseiten “entdeckt”? Es gibt derzeit kein umfassendes Verzeichnis von Webseiten oder Blogs, von dem man für die Zusammenstellung einer solchen Textsammlung ausgehen könnte. Es bedarf also maschineller Methoden, das Web wird via Webcrawling erkundet und Funde im Anschluss in Bezug auf ihre Qualität bewertet. Bei diesem Vorgehen streben wir über die Integration statistischer Merkmale und über formale Kontrollen an, ein Gleichgewicht hinsichtlich des Inhalts zu gewährleisten. Auf diese Weise haben wir die Webkorpora im DWDS auch im Jahr 2020 massiv erweitern und umstrukturieren können. Dieser Blogeintrag möchte die wichtigsten Änderungen und Neuerungen zusammenfassen.

Die Webkorpora im DWDS: Jahresrückblick weiterlesen

Digitalisierung, Aufbereitung und Annotation des Friedhofsregisters der jüdischen Gemeinde zu Strelitz (1740–1923)

Der folgende Artikel erläutert die einzelnen Schritte, die angewandt wurden, um das Friedhofsregister der jüdischen Gemeinde zu Strelitz so aufzubereiten, dass es volltextdurchsuchbar, maschinenlesbar, XML-annotiert und im Ausgangsformat als TEI/XML sowie ALTO verfügbar ist. Am Ende stehen zwei „Produkte“: Einerseits die Ansicht des TEIs im Deutschen Textarchiv, zur Korrektur und vollen Nutzbarkeit des TEI; andererseits die Ansicht im DFG-Viewer mittels generierter METS, zur zeilengenauen Ansicht des transkribierten Textes.
Digitalisierung, Aufbereitung und Annotation des Friedhofsregisters der jüdischen Gemeinde zu Strelitz (1740–1923) weiterlesen

Neues Korpus zur Sprache des 20. Jahrhunderts: Das „Archiv der Gegenwart“

Seit Ende Oktober 2020 steht auf der DWDS-Plattform mit dem Archiv der Gegenwart (AdG) ein weiteres Korpus für Recherchen zur deutschen Sprache des 20. Jahrhunderts zur Verfügung. Der Zugang zur Recherche ist dank der freundlichen Nutzungsgenehmigung von Edition Lempertz/Brandenburgisches Verlagshaus ohne Anmeldung möglich. Für die Anzeige von mehr als einem Kontextsatz ist eine Anmeldung erforderlich.

Neues Korpus zur Sprache des 20. Jahrhunderts: Das „Archiv der Gegenwart“ weiterlesen

Neubearbeitung des Deutschen Wörterbuchs von Jacob Grimm und Wilhelm Grimm

Mit Abschluss des Projekts (Retro-)Digitalisierung und Internetpublikation der Neubearbeitung des Deutschen Wörterbuchs von Jacob Grimm und Wilhelm Grimm ist dieses Wörterbuch nun auch auf der DWDS-Webseite eingebunden. In Zusammenarbeit des Trier Center for Digital Humanities, der Akademie der Wissenschaften zu Göttingen und der Berlin-Brandenburgischen Akademie der Wissenschaften wurde diese Ressource im Zeitraum von 2016 bis 2020 elektronisch aufbereitet und steht nun frei auf den jeweiligen digitalen Plattformen für die Recherche zur Verfügung.

Neubearbeitung des Deutschen Wörterbuchs von Jacob Grimm und Wilhelm Grimm weiterlesen

Über bereichernde Anreicherung. Wechselseitige Annotation von Dramen als Subkorpus der Digitalen Bibliothek zwischen Zeno.org, TGRep, GerDraCor und DTA

Autoren: Marius Hug, Matthias Boenig, Yannic Bracke, Frank Fischer, Susanne Haaf, Christian Thomas

Intro

Im folgenden Beitrag soll gezeigt werden, wie deutschsprachige Dramen aus den zwei Textsammlungen TextGrid Repository (TGRep) und German Drama Corpus (GerDraCor) unter Einbeziehung von Metadaten aus einer externen Katalogdatei in das Basisformat des Deutschen Textarchivs (DTABf) transformiert werden. Die Dramen stellen im TGR ein Subkorpus der „Digitalen Bibliothek“ dar und wurden, wie auch der Metadatenkatalog, ursprünglich von zeno.org publiziert. Dieser UseCase mit dem Ziel der gegenseitigen Bereicherung wurde im Rahmen des CLARIAH-DE-Projektes realisiert.

Über bereichernde Anreicherung. Wechselseitige Annotation von Dramen als Subkorpus der Digitalen Bibliothek zwischen Zeno.org, TGRep, GerDraCor und DTA weiterlesen

Erweiterung der Korpora im DWDS um die Rubrik „Metakorpora“

Mit einem Update vom 7. Mai 2020 wurden die Korpora im DWDS um die Rubrik Metakorpora erweitert. In einem Metakorpus sind mehrere Einzelkorpora gebündelt. Der Vorteil aus Nutzer/innen-Sicht besteht darin, dass thematisch verwandte Einzelkorpora über das entsprechende Metakorpus mit nur einer einzigen Suchanfrage durchsucht werden können. Im Einzelnen: Erweiterung der Korpora im DWDS um die Rubrik „Metakorpora“ weiterlesen

Ins Netz gegangen. Datenkuration im Deutschen Textarchiv am Beispiel der „Meerwunder“-Edition

– ein Beitrag von Nora Ketschik (Universität Stuttgart) und Christian Thomas (BBAW)

Die Erzählung vom „Meerwunder“

Das „Meerwunder“ ist eine im Nürnberger Raum überlieferte Erzählung aus dem 15. und 16. Jahrhundert, die in drei Fassungen in einem Editionsprojekt der Universität Stuttgart erschlossen und ediert worden ist. Im vorliegenden Beitrag möchten wir die Editionsgeschichte der drei „Meerwunder“-Texte vor dem Hintergrund ihrer jeweiligen Überlieferungssituation genauer erläutern und ein Best Practice-Verfahren für die digitale Aufbereitung von Textsammlungen vorstellen.

Ins Netz gegangen. Datenkuration im Deutschen Textarchiv am Beispiel der „Meerwunder“-Edition weiterlesen

Neu im DWDS: Das ZDL-Regionalkorpus

Ab dem 5. März 2020 ist auf der DWDS-Plattform das ZDL-Regionalkorpus des Zentrums für digitale Lexikographie der deutschen Sprache verfügbar, mit dessen Hilfe regionale Variation im deutschen Gebrauchsstandard untersucht werden kann. In der aktuellen Version ist das Korpus mit 6,2 Mrd. Tokens in 20,8 Mio. Dokumenten nun das größte recherchierbare Korpus auf der DWDS-Plattform. Aus lizenzrechtlichen Gründen ist das Korpus erst nach Anmeldung nutzbar; die Anmeldung ist jedoch unkompliziert und ohne Kosten.

Zur Anmeldung für die Recherche im ZDL-Regionalkorpus: https://www.dwds.de/r/?corpus=regional.

Neu im DWDS: Das ZDL-Regionalkorpus weiterlesen

Photograph of the Workshop

Natural Language Processing for Historical Documents – a workshop report

Experts on NLP tools for working with historical documents met in Berlin in September for a CLARIN workshop to exchange ideas, experiences about tools and methods. The outputs included a draft resource guide, and a plan of action to integrate more tools into the CLARIN infrastructure.

The main goal of the workshop was produce a guide to software applications for processing historical language varieties, a document which will help users to find, understand, choose and deploy natural language processing software applications for the annotation and analysis of texts in historical language varieties. The guide will be published alongside the existing ‘Resource Families’ guides to datasets (https://www.clarin.eu/resource-families). The workshop took place at the BBAW in Berlin, and was organized by Martin Wynne (Bodleian Libraries, University of Oxford), Bryan Jurish (ZDL, BBAW) and Christian Thomas (CLARIN-D, BBAW).

Natural Language Processing for Historical Documents – a workshop report weiterlesen