ZDL-Regionalkorpus erstmals für die gesamte D-A-CH-Region

Autoren: Alexander Geyken, Andreas Nolda und Adrien Barbaresi

Zum 12. Dezember 2023 ist es erstmals möglich, die Daten des ZDL-Regionalkorpus für die gesamte D-A-CH-Region einer größeren Öffentlichkeit anzubieten. Möglich wurde dies durch Lizenzvereinbarungen mit der GBI-Genios Deutsche Wirtschaftsdatenbank GmbH sowie eine jüngst getroffene Vereinbarung mit der APA-Austria Presse Agentur eG und dem Austrian Centre for Digital Humanities and Cultural Heritage (ACDH-CH) der Österreichischen Akademie der Wissenschaften (ÖAW), das dem ZDL-Team in Berlin in korpuslinguistischer, rechtlicher und technischer Sicht beratend zur Seite stand und steht. Bei der Auswahl von Zeitungen aus der deutschsprachigen Schweiz wurde das ZDL-Team von der Wörterbuchredaktion des Schweizerischen Idiotikons unterstützt.

Das ZDL-Regionalkorpus des Zentrums für digitale Lexikographie der deutschen Sprache (ZDL) wurde für die Untersuchung der regionalen Variation der deutschen Standardschriftsprache konzipiert. Wie beim Projektkorpus der Variantengrammatik wurden im ZDL-Regionalkorpus nur Artikel aus Lokal- und Regionalteilen aufgenommen, da solche Artikel mit größerer Wahrscheinlichkeit vor Ort verfasst wurden als Artikel anderer Ressorts, die häufig von Zentralredaktionen oder Nachrichtenagenturen stammen.

Mit knapp 42 Millionen Artikeln aktueller deutschsprachiger Tages- und Wochenzeitungen – dies entspricht einer Menge von über 11 Milliarden Tokens – ist es das mit Abstand größte Korpus, welches jemals für diese Art von Untersuchungen im deutschen Sprachraum verfügbar gemacht wurde. Gegenwärtig umfasst das Korpus Lokal- und Regionalteile von 43 Tages- und Wochenzeitungen, darunter 26 aus Deutschland, 10 aus Österreich sowie 7 aus der deutschsprachigen Schweiz.

Dabei wurden die Zeitungen so ausgewählt, dass sie die Regionen möglichst gut gemäß der DWDS-Arealgliederung abdecken. Die Arealbezeichnungen folgen dem Variantenwörterbuch des Deutschen (2. Aufl. 2016, S. XXV f.) und der Variantengrammatik des Standarddeutschen (2018). Bei der geografischen Abgrenzung dieser Areale orientieren wir uns an der Dialektgliederung bei Lameli (2013: 194). Gemäß dieser Arealgliederung ist Deutschland in die Areale D-Nordwest, D-Nordost, D-Mittelwest, D-Mittelost, D-Südwest und D-Südost unterteilt mit jeweils mehreren Subarealen. Hinzu kommt zum einen das Areal A für den österreichischen Sprachraum mit den Subarealen A-West (Vorarlberg), A-West (Tirol), A-Südost, A-Mitte und A-Ost; überregionale Zeitungen aus dem Areal A haben kein Subareal. Zum anderen wird die deutschsprachige Schweiz als Areal CH unterteilt in die Subareale CH-West, CH-Nordost, CH-Ost, CH-Zentral und CH-Süd.

Semmel: PPM-Werte im ZDL-Regionalkorpus (Stand: 12.12.2023)

Technisch weist das Korpus die Besonderheit auf, dass die Daten aus urheberrechtlichen Gründen verteilt in Berlin und Wien vorgehalten werden und die Abfrageergebnisse bei einer Korpusanfrage dynamisch erzeugt werden. Im Suchinterface des Korpus können die Treffer (Satzzitate) nicht nur angezeigt, sondern auch in Form von Tabellen oder Karten statistisch aufbereitet werden.

Genutzt wird das Korpus als Grundlage für die lexikographische Arbeit des ZDL, insbesondere für die korpusbasierte Erstellung der Regionalangaben im „Digitalen Wörterbuch der deutschen Sprache“ (DWDS). Darüber hinaus kann es aber auch von allen registrierten Nutzerinnen und Nutzern des DWDS zur Nachprüfung der Angaben des Wörterbuchs sowie für eigene Recherchen zur regionalen Verteilung von Wörtern oder Wendungen verwendet werden.

Nutzungsbedingungen

Der Zugriff auf das ZDL-Regionalkorpus ist kostenfrei, erfordert jedoch aus urheberrechtlichen Gründen eine Anmeldung auf der DWDS-Website. Dort finden Sie auch die weiteren Nutzungsbedingungen sowie einschlägige Zitierhinweise.

Danksagung

Für die Einräumung der entsprechenden Nutzungsrechte möchten wir uns bei den Verlagen der im ZDL-Regionalkorpus vertretenen Zeitungen bedanken.

Ein besonderer Dank geht an die GBI-Genios Deutsche Wirtschaftsdatenbank GmbH, die die bisweilen langwierigen Rechteverhandlungen mit den Zeitungsverlagen sehr zielgerichtet und im Sinne unseres Projektes geführt hat und für die digitale Bereitstellung der deutschen und schweizerischen Zeitungsdaten sorgt (mit Ausnahme der „Süddeutschen Zeitung“, mit der eine gesonderte Rechtevereinbarung besteht). Bedanken möchten wir uns ebenfalls bei dem Dokumentations- und InformationsZentrum München GmbH (DIZ) für die Einräumung der Nutzungsrechte sowie die Bereitstellung der digitalen Daten der „Süddeutschen Zeitung“.

Wir sind außerdem unserem Kooperationpartner an der Österreichischen Akademie der Wissenschaften, dem Austrian Centre for Digital Humanities and Cultural Heritage (ACDH-CH) zu Dank verpflichtet, das eine Erweiterung des ZDL-Regionalkorpus um österreichische Zeitungsdaten aus dem Austrian Media Corpus (AMC) möglich gemacht hat. Sämtliche Rechte an den Daten des österreichischen Teils des ZDL-Regionalkorpus liegen bei der APA-Austria Presse Agentur eG, der wir an dieser Stelle ebenfalls sehr herzlich für die Einräumung der Nutzungsrechte danken. Für eine Verwendung des AMC in Forschungsprojekten außerhalb des ZDL-Regionalkorpus bitten wir Sie um direkte Kontaktaufnahme mit dem ACDH-CH.

Ebenso möchten wir uns bei der Wörterbuchredaktion des Schweizerischen Idiotikons für die fachliche Beratung bei der Auswahl der schweizerischen Quellen für das ZDL-Regionalkorpus bedanken.

Weitere Quellen

Der Webmonitor: Im ZDL wurde neben dem ZDL-Regionalkorpus ein weiteres Monitorkorpus mit regionalem Fokus veröffentlicht; dieses besteht ausschließlich aus Internetquellen. Es ergänzt die hier beschriebenen Daten um viele der meistgelesenen Nachrichtenseiten aus der D-A-CH-Region (den sogenannten ‚Vollzentren‘) sowie aus den ‚Halbzentren‘ Südtirol (Italien), Ostbelgien (Belgien), Luxemburg und Liechtenstein.

Weiterführende Literatur zum ZDL-Regionalkorpus

Nolda, Andreas, Adrien Barbaresi und Alexander Geyken. Korpora für die lexikographische Beschreibung diatopischer Variation in der deutschen Standardsprache. In: Korpora in der germanistischen Sprachwissenschaft: Mündlich, schriftlich, multimedial, hg. v. Arnulf Deppermann, Christian Fandrych, Marc Kupietz und Thomas Schmidt, Berlin, Boston: de Gruyter, 2023, S. 29–52. DOI: 10.1515/9783111085708-003

Nolda, Andreas, Adrien Barbaresi und Alexander Geyken: Das ZDL-Regionalkorpus: Ein Korpus für die lexikografische Beschreibung der diatopischen Variation im Standarddeutschen. In: Deutsch in Europa, hg. v. Henning Lobin, Andreas Witt und Angelika Wöllstein. Berlin, Boston: de Gruyter, 2021, S. 317–322. DOI: 10.1515/9783110731514-018

Das historische Schulbuchkorpus GEI-Digital-2020

Wenn Sie diese Zeilen selbstständig lesen, dann haben Sie neben gutem Augenlicht, Internetzugang und deutschen Sprachkenntnissen höchstwahrscheinlich noch eine weitere Gemeinsamkeit mit allen anderen Leser:innen: die jahrelange Beschäftigung mit Schulbüchern in Ihrer Kindheit und Jugend. Sie haben die Inhalte solcher Bücher entziffert, laut und leise gelesen, im Unterricht diskutiert, schriftlich oder mündlich in eigenen Worten oder wortgetreu wiedergegeben.

Was damals mit einigen Mühen verbunden war, kann mit etwas zeitlichem und mentalem Abstand durchaus ein intellektuelles Vergnügen sein: das Stöbern in alten Schulbüchern und der Vergleich ihrer Inhalte. Das historische Schulbuchkorpus GEI-Digital-2020 weiterlesen

Wortprofil 2021

In den letzten beiden Jahren wurde das DWDS-Wortprofil grundlegend überarbeitet. Die bislang auf regelbasierten Constraint-Grammatiken beruhende syntaktische Analyse wurde durch moderne Deep-Learning-basierte Technologien ersetzt.

Darüber hinaus wurde auch das Quellenkorpus umfassend erweitert und aktualisiert. Dieses basiert nunmehr auf Korpora mit einem Umfang von 4,8 Milliarden Textwörtern und ist damit deutlich größer als das bislang verfügbare Korpus (2,7 Milliarden Textwörter). Mit dem neuen Wortprofil können 22,8 Millionen verschiedene Kookkurrenzen für insgesamt 380.000 Lemmaformen gesucht werden.

Die Rechercheoberfläche des Wortprofils bleibt unverändert erhalten. Nach wie vor können Kookurrenzen zu einzelnen Lemmata recherchiert und dafür Satzbelege angezeigt werden. Darüber hinaus ist es weiterhin möglich, Wortprofile für zwei verschiedene Lemmata gegenüberzustellen. Dies ist besonders nützlich für nahe Synonyme, wie z.B. bekanntgeben vs. verkünden.

Regionales aus der Weihnachtsbäckerei

Nachdem wir in unserem vorangegangenen Blogbeitrag bereits auf Akteure des vorweihnachtlichen Brauchtums eingegangen sind, wollen wir uns nun dem kulinarischen Aspekt widmen. Wie kaum ein anderer Bereich ist das Koch- und Backvokabular sehr stark von regionalsprachlichen Eigenheiten geprägt. Im Laufe der Jahrhunderte haben sich in den verschiedenen deutschsprachigen Regionen vielfältigste süße Weihnachtsspezialitäten sowie Begriffe dafür eingebürgert. Regionales aus der Weihnachtsbäckerei weiterlesen

(Vor-)Weihnachtliche Brauchtumsfiguren in Deutschland, Österreich und der Schweiz

Der Advent und die Weihnachtszeit sind in Deutschland und seinen Nachbarländern bis heute von teils jahrhundertealtem Brauchtum geprägt. Einige dieser Bräuche sind im ganzen deutschsprachigen Raum verbreitet, andere nur in bestimmten Regionen oder gar nur in einem bestimmten Ort zu finden. Wieder andere werden zwar überregional gepflegt, tragen je nach Region aber verschiedene Namen.

In unserem DWDS-Weihnachtsglossar werden Sie Dinge entdecken, von denen Sie vielleicht noch nie gehört haben, die für andere wiederum aus der Weihnachtszeit nicht wegzudenken sind. Vielleicht stellen Sie auch fest, dass es für ein und dieselbe Sache gar nicht allzu weit entfernt von daheim eine völlig andere, lustige, obskure oder kurios anmutende Bezeichnung gibt. In diesem Beitrag wollen wir uns den (vor-)weihnachtlichen Geschenkebringern und ihren Gehilfen widmen. 

(Vor-)Weihnachtliche Brauchtumsfiguren in Deutschland, Österreich und der Schweiz weiterlesen

Mit vereinten Kräften. Ergebnisbericht einer Zusammenarbeit des ZDL mit CLARIAH-DE im Kontext der kollaborativen Anreicherung von Metadaten

Einleitung

Ein Schwerpunkt des vom BMBF geförderten Verbundprojekts CLARIAH-DE (Förderzeitraum: 2019 bis 2021) bestand in der Abstimmung von gemeinsamen Standards und Verfahren für die Erstellung, Aufbereitung und Archivierung von Daten und Werkzeugen. Eine Arbeitsgruppe an der BBAW befasste sich im Arbeitspaket „Forschungsdaten, Standards und Verfahren“ mit der Zusammenführung und Homogenisierung digitaler Datenbestände. Dazu wurden ausgewählte TEI-Ressourcen des TextGrid Repository im Hinblick auf eine Integration in die Infrastruktur des Deutschen Textarchivs (DTA) evaluiert. Das Ziel bestand darin, substantielle Teile der ursprünglich von Directmedia Publishing GmbH digitalisierten „Digitalen Bibliothek“ in das Basisformat des Deutschen Textarchivs (DTABf) zu  transformieren und den Datensatz v.a. im Bereich der Metadaten qualitativ aufzuwerten. Das Ergebnis ist ein neues, in die DTA-Infrastruktur integriertes Textkorpus, das DiBiLit-Korpus.

Das ebenfalls seit 2019 vom BMBF in der Aufbauphase finanzierte Zentrum für digitale Lexikographie der deutschen Sprache (ZDL) hat u.a. zum Ziel, verlässlich und umfassend den deutschen Wortschatz und damit auch seine Varietäten – d.h. regionale und stilistische Varianten – zu beschreiben. Eine wichtige Säule für diese Beschreibung des deutschen Wortschatzes im Wörterbuch besteht in Textkorpora als empirischer Grundlage: „Ein Gutteil der lexikographischen Arbeit besteht darin, die Bedeutungsbeschreibungen der Wortartikel aus den Verwendungen in den Textkorpora abzuleiten.“ (Geyken 2019, 37)

Um Aussagen darüber treffen zu können, aus welchem Kontext dieses oder jenes Wort stammt, wird dabei die Zuordnung zu bestimmten Textkategorien von großer Bedeutung sein. Zudem interessiert neben der Frage, „was“ ein Wort bedeutet, natürlich auch der zeitliche Verwendungsrahmen, also die Frage, „wann“ dieses Wort verwendet wurde. Diese und weitere Kriterien werden bei der Anreicherung vorhandener sowie der Erstellung neuer Textkorpora zu berücksichtigen sein.

Kollaboration

Im folgenden kurzen Bericht wird anhand von drei Beispielen gezeigt, wie bei der Erstellung und Aufbereitung von Datensätzen deren Anschlussfähigkeit bzw. Nachnutzbarkeit optimiert werden kann:

a) Datum der Ersterscheinung

Das Hauptziel des von 2007 bis 2016 von der DFG finanzierten Projekts „Deutsches Textarchiv“ bestand in der Erstellung eines Textkorpus, das einen disziplinen- und gattungsübergreifenden Grundbestand deutschsprachiger Texte aus dem Zeitraum von ca. 1600 bis 1900 für Interessierte und Forschende bereitstellt. Von anderen umfangreichen Textsammlungen wie Google Books, Wikisource oder dem Projekt Gutenberg-DE unterscheidet sich das DTA durch die sorgfältige Auswahl der Texte und Ausgaben, die sehr hohe Erfassungsgenauigkeit, die strukturelle und linguistische Erschließung der Textdaten sowie die Verlässlichkeit der Metadaten. Ein wichtiges Instrumentarium bei der Entwicklung des Korpus war die Etablierung eines einheitlichen Formates, des DTA-Basisformats (DTABf). Dieses TEI-Subset erfordert v.a. im Bereich der Metadaten eine vergleichsweise strikte und detaillierte Dokumentation von bibliographischen und formal-technischen Daten. Die Annotationsregeln im Bereich der DTABf-Header sind jedoch die Voraussetzung dafür, dass das DTA mit seinem sprachgeschichtlichen Fokus den historischen Sprachstand möglichst genau abbilden kann. Als konkrete Folge dieser Anforderung wurden bei der Erstellung des DTA-Kernkorpus in aller Regel die historischen Erstausgaben als Vorlage für die Digitalisierung gewählt.

Das Erscheinungsdatum der verwendeten Ausgabe wird im DTABf wie sonst üblich innerhalb des <publicationStmt> in der <sourceDesc> festgehalten:

<sourceDesc>
  ...
  <biblFull>
    ...
    <publicationStmt>
      ...
      <date type="publication">1853</date>
    </publicationStmt>
  </biblFull>
  ...
</sourceDesc>

Die Vorlagen für den durch TextGrid von der Editura GmbH & Co. KG erworbenen Datensatz der „Digitalen Bibliothek“ haben keine derartigen Einschränkungen. Hier muss also in der Regel davon ausgegangen werden, dass es sich eher nicht um die Erstausgaben der Texte handelt. Das oben verwendete <date type="publication"> hilft demnach bei der Abbildung des historischen Sprachstands nicht weiter, da der Text evtl. von 1827 stammt, für die Digitalisierung aber eine Ausgabe von 1966 genutzt wurde. Der Ausweg bestand hier in der Einführung eines weiteren <date>-Elements. In diesem kann per @firstPublication das Datum der Ersterscheinung festgehalten werden, während das Datum der verwendeten Ausgabe per <date type="publication"> annotiert wird.

Was hier auf der technischen Ebene der XML-Umsetzung vergleichsweise banal erscheint, stellte für das Projekt CLARIAH-DE und die Konvertierung von Texten der „Digitalen Bibliothek“ eine enorme Herausforderung dar. Nicht nur stand dort in den meisten Fällen kein Datum der Ersterscheinung zur Verfügung, so dass dieses erst ermittelt werden musste. Aus verschiedenen Gründen fehlten zudem in den Metadaten von rund 30% der Titel generell ein Datum. Die so notwendig gewordenen umfangreichen Nachrecherchen sowie, wenn möglich, die Anreicherung um das Datum der Ersterscheinung wurde in einer Kooperation zwischen CLARIAH-DE und ZDL umgesetzt.

b) DTA-Werkebene

Eine andere projektspezifische Herausforderung bei der Konversion der Texte aus der „Digitalen Bibliothek“ im TextGrid Repository bestand in der Wiederherstellung der Werkebene. Diese stand ganz am Beginn des DiBiLit-Konversionsworkflows und war deswegen nötig geworden, weil die ursprünglich autorbasierten XML-Dateien der Directmedia mit einer tief geschachtelten <article>-Struktur im TextGrid Repository in die jeweils kleinste Einheit aufgespalten worden waren. Aus einem einzelnen Gedichtband, der in den Originaldaten also mit einem umschließenden <article> annotiert war, wurden im TextGrid Repository bspw. rund 3.000 eigenständige TEI-Dateien mit jeweils einem eigenen Metadatensatz im TEI-Header.

Der DTA-Logik entspricht die Integration von Texten in der Regel auf Werkebene, d.h. der zuvor aufgesplittete Gedichtband musste wieder zusammengesetzt werden und einen werkspezifischen DTABf-Header erhalten. Die Schwierigkeit bestand darin, dass die Originaldaten und damit die einzelnen Header im TextGrid Repository evtl. Metainformationen über die Erscheinung des Einzelgedichts enthalten, die bei der Rückführung auf die Werkebene nicht verloren gehen sollten. Für diesen Zweck wurde in Zusammenarbeit mit dem ZDL ein Workflow für die Zuordnung der Einzelgedichte zu deren Metadaten in einem eigenen <note>-Element im DTABf-Header entwickelt. Dazu wurde für jedes einzelne <note>-Element innerhalb des <notesStmt> in der <sourceDesc> über eine @xml:id mit dem zugehörigen Textteil in //body/div verknüpft:

<notesStmt>
  <note type="remarkDocument" corresp="#Zesen-d1e403">
    Erstdruck: Hall (Peter Schmied) 1638.
  </note>
  <note type="remarkDocument" corresp="#Zesen-d1e1661">
    Erstdruck: Hamburg (Heinrich Werner) 1641.
  </note>
  <note type="remarkDocument" corresp="#Zesen-d1e16476">
    Erstdruck: Hamburg (Jacob Rebenlein) 1642.
  </note>
  <note type="remarkDocument" corresp="#Zesen-d1e19061">
    Erstdruck: Hamburg (Johann Naumann) 1651.
  </note>
</notesStmt>
 
c) DWDS-Textsortenklassifikation

Als letztes Beispiel sei hier auf die Gattungszuordnung der einzelnen Werke verwiesen. Diese ist bspw. die Voraussetzung für gezielte Suchanfragen innerhalb des neuen Korpus. Das TextGrid Repository ermöglicht den Zugriff auf „drama“, „prose“, „verse“ und „other“. Den Originaldaten lassen sich aber deutlich mehr Textgattungen entnehmen.

Im Projekt CLARIAH-DE wurde das Ziel formuliert, die vielen einzelnen Texte einer Auswahl von rund 10 Gattungen zuzuordnen. Diese Zuordnung wurde manuell über eine Mapping-Datei vorgenommen. Für die korpusübergreifende Suche wurde aber zusätzlich – und erneut in einer Kollaboration mit dem ZDL – ein Mapping auf die im DTA verwendeten Kategorien des „Digitalen Wörterbuchs der Deutschen Sprache“ (DWDS) umgesetzt. So konnten für das komplette DiBiLit-Korpus die Metadaten mit den Textsorten und Inhaltskategorisierungen des DWDS angereichert werden.

<textClass>
  <classCode scheme="zeno.org_Literaturgattung">Roman</classCode>
  <classCode scheme="#dwds1main">Belletristik</classCode>
  <classCode scheme="#dwds1sub">Roman</classCode>
  <classCode scheme="#DTACorpus">DiBiLit</classCode>
</textClass>

Zusammenfassung

Der Bericht zeigt anhand von drei Beispielen, wie bei der Erstellung und Anreicherung von Textkorpora die Möglichkeiten der Nachnutzung der Bestände deutlich optimiert werden können. Dies geschieht allem voran durch den Fokus auf ganz konkrete Nutzungsszenarien. Die Anreicherung der Metadaten um das Datum der Ersterscheinung, die aufwendige Verknüpfung einzelner Ressourcen – hier projektspezifisch umgesetzt im Kontext der Wiederherstellung der Werkebene –, sowie die Zuordnung der Textsortenklassifikation zu den einzelnen Werken garantiert die Vergleichbarkeit der Sammlung mit dem Kernkorpus des DTA und ist gleichermaßen die Voraussetzung, um daraus ein zeitlich und nach Textsorten ausgewogenes Korpus historischer Texte aggregieren zu können.

Die Zusammenarbeit des Projekts CLARIAH-DE mit dem ZDL hat zu einer Aufwertung des Korpus im Bereich der Metadaten geführt, die über die eigentlichen Projektziele von CLARIAH-DE hinausgingen. Andererseits garantiert dieser projektübergreifende Mehraufwand nun die Verwendung der Daten nicht nur korpusübergreifend, sondern macht den Datensatz auch für die Wörterbucharbeit des ZDL nutzbar.

Referenzen

Goalie, Corner, Gurkerl: Österreichische und schweizerdeutsche Regionalismen im Fußball

Während Europa wieder einmal das Fußballfieber gepackt hat, beschäftigt sich auch das DWDS intensiv mit der beliebten Sportart. Unsere Redaktion hat aus der Masse fußballrelevanter Wörter einige der wichtigsten ausgewählt und diese zum Start der Europameisterschaft im DWDS-Fußballglossar zusammengestellt. Wenn Sie Fußballexpertin oder -experte sind und Ihnen trotzdem manche dieser Begriffe nicht geläufig sind, müssen Sie nicht an Ihrer Expertise zweifeln. Unser Glossar enthält nämlich auch eine Auswahl an Austriazismen und Helvetismen, d. h. Ausdrücke, die sich typischerweise in Österreich oder in der Deutschschweiz finden. Diese wollen wir hier etwas genauer unter die Lupe nehmen. Goalie, Corner, Gurkerl: Österreichische und schweizerdeutsche Regionalismen im Fußball weiterlesen

Virtuelles DH-Kolloquium am 4.6.2021: „Widerstand operationalisieren mithilfe soziopragmatischer Annotationen“

Am Freitag, dem 4. Juni 2021, 15 s.t., findet erneut das (derzeit virtuelle) DH-Kolloquium der BBAW statt, diesmal wieder mit einem linguistischen Thema. Dabei wird PD Dr. Nicole M. Wilk aus dem DFG-Projekt „Heterogene Widerstandskulturen, Sprachliche Praktiken des Sich-Widersetzens von 1933 bis 1945“ (HetWik) berichten:

Nicole M. Wilk (Universität Paderborn, DFG-Projekt HetWik):
Widerstand operationalisieren mithilfe soziopragmatischer Annotationen

Virtuelles DH-Kolloquium am 4.6.2021: „Widerstand operationalisieren mithilfe soziopragmatischer Annotationen“ weiterlesen

Die Geschichte der Digitalen Bibliothek, oder: Aller guten Kurationen sind drei+

[Letzte Aktualisierung: 16. April 2021]

Autoren: Marius Hug, Matthias Boenig

Die Ursprünge der Digitalen Bibliothek: Directmedia und Zeno.org

Diese Geschichte beginnt im Oktober 1997 mit der CD-ROM „Deutsche Literatur von Lessing bis Kafka“. Mit dieser hat der Verlag Directmedia Publishing, der bereits seit 1992 Erfahrung mit der Publikation von CD-ROMs hatte, erstmals das Konzept der Reihe „Digitale Bibliothek“ vorgestellt. In dieser wurden Texteditionen mit einem umfassenden Themenspektrum von literarischen, wissenschaftlichen bis zu sachbezogenen Texten zum ersten mal digital verfügbar gemacht. Grundlage der „Digitalen Bibliothek“ waren größtenteils gemeinfreie Texte. Die Geschichte der Digitalen Bibliothek, oder: Aller guten Kurationen sind drei+ weiterlesen

Ein Blick in die Werkstatt: Bestimmung des Veröffentlichungsdatums bei Webseiten

Datumsangaben als wissenschaftlicher Gegenstand

Obwohl Text im Web allgegenwärtig ist, kann sich das Extrahieren von Webseiteninformationen als schwierig erweisen. Webdokumente gibt es in ganz unterschiedlichen Formaten, vor allem wegen der großen Vielfalt an Genres, Plattformen und Content-Management-Systemen und nicht zuletzt aufgrund sehr unterschiedlicher Publikationsziele seitens der jeweiligen Betreiber.

In den meisten Fällen enthalten die unmittelbar zugänglichen Daten auf abgerufenen Webseiten keine substanziellen oder genauen Informationen: Weder die URL noch die Serverantwort bieten eine zuverlässige Möglichkeit, ein Webdokument zu datieren, d.h. herauszufinden, wann es veröffentlicht oder möglicherweise verändert wurde. In diesem Fall ist es notwendig, das Dokument vollständig zu erkunden oder anhand von robusten Heuristiken zu durchforsten. Diese Aufgabe wird häufig Web Scraping genannt (gezieltes Extrahieren der benötigten Daten).

Ein Blick in die Werkstatt: Bestimmung des Veröffentlichungsdatums bei Webseiten weiterlesen

Zum neuen Jahr neue Zeitungsquellen im ZDL-Regionalkorpus

Autoren: Alexander Geyken und Andreas Nolda

Seit dem 4. Januar 2021 sind im ZDL-Regionalkorpus des Zentrums für digitale Lexikographie der deutschen Sprache zusätzliche Zeitungsquellen verfügbar, die bisher unterrepräsentierte Areale oder Zeiträume abdecken. In den sechs Spracharealen (D-Nordwest bis D-Südost), die gegenwärtig vom ZDL-Regionalkorpus abgedeckt werden, können nunmehr 26 Zeitungsquellen recherchiert werden. Der Bestand des ZDL-Regionalkorpus wächst damit um gut 2 Mrd. Tokens auf ca. 8,65 Mrd. Tokens in 30 Mio. Dokumenten.

Für die Einräumung der Nutzungsrechte, die den angemeldeten Nutzerinnen und Nutzern des DWDS Korpusrecherche in diesen Zeitungsquellen ermöglicht, möchten wir uns bei allen unten genannten Zeitungsverlagen bedanken. Ein besonderer Dank geht an die GBI-Genios Deutsche Wirtschaftsdatenbank GmbH, die die in Corona-Zeiten bisweilen langwierigen Rechteverhandlungen mit den Zeitungsverlagen sehr zielgerichtet und im Sinne der Nutzerinnen und Nutzer des DWDS geführt hat und für die digitale Bereitstellung der Quellen der unten aufgeführten Zeitungen sorgt (außer der Süddeutschen Zeitung). Schließlich möchten wir uns bei der Dokumentations- und InformationsZentrum München GmbH für die Einräumung der Nutzungsrechte sowie die Bereitstellung der digitalen Daten der Süddeutschen Zeitung bedanken.    

Zur Anmeldung für die Recherche im ZDL-Regionalkorpus: https://www.dwds.de/r/?corpus=regional.

Zum neuen Jahr neue Zeitungsquellen im ZDL-Regionalkorpus weiterlesen

Die Webkorpora im DWDS: Jahresrückblick

Mit Hilfe großer Korpora können Hypothesen über die Verwendung lexikalischer Einheiten empirisch belegt werden. Das DWDS bietet dafür, neben den zeitlich und in Bezug auf Textsorten ausgewogenen Referenzkorpora und den Zeitungskorpora, eine Reihe von allgemeinen und spezialisierten Korpora an. Letztere heben sich hinsichtlich ihres Gegenstandes oder ihrer sprachlichen Charakteristika von den erstgenannten Korpora ab.

Wie aber werden für das Webkorpus relevante Webseiten “entdeckt”? Es gibt derzeit kein umfassendes Verzeichnis von Webseiten oder Blogs, von dem man für die Zusammenstellung einer solchen Textsammlung ausgehen könnte. Es bedarf also maschineller Methoden, das Web wird via Webcrawling erkundet und Funde im Anschluss in Bezug auf ihre Qualität bewertet. Bei diesem Vorgehen streben wir über die Integration statistischer Merkmale und über formale Kontrollen an, ein Gleichgewicht hinsichtlich des Inhalts zu gewährleisten. Auf diese Weise haben wir die Webkorpora im DWDS auch im Jahr 2020 massiv erweitern und umstrukturieren können. Dieser Blogeintrag möchte die wichtigsten Änderungen und Neuerungen zusammenfassen.

Die Webkorpora im DWDS: Jahresrückblick weiterlesen

Virtuelles DH-Kolloquium am 4.12.2020: „Dynamische Formate im DWDS“

Am Freitag, dem 4. Dezember 2020, von 17 Uhr bis ca. 19 Uhr, findet erneut das virtuelle DH-Kolloquium der BBAW statt. Diesmal werden PD Dr. Alexander Geyken und Julia Naji (beide Berlin-Brandenburgische Akademie der Wissenschaften) die neuen dynamischen Formate des Digitalen Wörterbuchs der Deutschen Sprache (DWDS) vorstellen.

Der Vortrag wird vorab aufgezeichnet und rechtzeitig vor Beginn des Kolloquiums bereitgestellt. Der Link zum Vortrag wird parallel auf Twitter (@DHBBAW) sowie im Channel „berlin_dhberlin“ auf der Plattform discord (⇒ Einladungslink: https://discord.gg/sw4D5NN) gepostet.

Weitere Informationen zur Veranstaltung sowie das Abstract zum Vortrag finden Sie unter: https://dhd-blog.org/?p=14696

Näheres zur Veranstaltungsreihe erfahren Sie unter: https://www.bbaw.de/bbaw-digital/digital-humanities/aktivitaeten-und-veranstaltungen/dh-kolloquium

Heute: Virtuelles DH-Kolloquium zum Thema: „Redewiedergabe“

Am heutigen 13. November 2020, von 17 Uhr bis ca. 19 Uhr, findet erneut das virtuelle DH-Kolloquium der BBAW statt, diesmal mit Referentin Dr. Annelen Brunner (Leibniz-Institut für Deutsche Sprache Mannheim) und dem Thema: „Redewiedergabe – Korpusressourcen & Automatische Erkenner“.

Der Vortrag wurde vorab aufgezeichnet und kann unter https://vimeo.com/477623161 angesehen werden. Ab 17 Uhr findet dann heute die Diskussion zum Vortrag im Channel „berlin_dhberlin“ auf der Plattform discord (⇒ Einladungslink: https://discord.gg/sw4D5NN) statt.  Seien Sie herzlich eingeladen, dort mitzudiskutieren!

Weitere Informationen zur Veranstaltung finden Sie unter: https://dhd-blog.org/?p=14587

Näheres zur Veranstaltungsreihe erfahren Sie unter: https://www.bbaw.de/bbaw-digital/digital-humanities/aktivitaeten-und-veranstaltungen/dh-kolloquium

Digitalisierung, Aufbereitung und Annotation des Friedhofsregisters der jüdischen Gemeinde zu Strelitz (1740–1923)

Der folgende Artikel erläutert die einzelnen Schritte, die angewandt wurden, um das Friedhofsregister der jüdischen Gemeinde zu Strelitz so aufzubereiten, dass es volltextdurchsuchbar, maschinenlesbar, XML-annotiert und im Ausgangsformat als TEI/XML sowie ALTO verfügbar ist. Am Ende stehen zwei „Produkte“: Einerseits die Ansicht des TEIs im Deutschen Textarchiv, zur Korrektur und vollen Nutzbarkeit des TEI; andererseits die Ansicht im DFG-Viewer mittels generierter METS, zur zeilengenauen Ansicht des transkribierten Textes.
Digitalisierung, Aufbereitung und Annotation des Friedhofsregisters der jüdischen Gemeinde zu Strelitz (1740–1923) weiterlesen