Datumsangaben als wissenschaftlicher Gegenstand

Obwohl Text im Web allgegenwärtig ist, kann sich das Extrahieren von Webseiteninformationen als schwierig erweisen. Webdokumente gibt es in ganz unterschiedlichen Formaten, vor allem wegen der großen Vielfalt an Genres, Plattformen und Content-Management-Systemen und nicht zuletzt aufgrund sehr unterschiedlicher Publikationsziele seitens der jeweiligen Betreiber.

In den meisten Fällen enthalten die unmittelbar zugänglichen Daten auf abgerufenen Webseiten keine substanziellen oder genauen Informationen: Weder die URL noch die Serverantwort bieten eine zuverlässige Möglichkeit, ein Webdokument zu datieren, d.h. herauszufinden, wann es veröffentlicht oder möglicherweise verändert wurde. In diesem Fall ist es notwendig, das Dokument vollständig zu erkunden oder anhand von robusten Heuristiken zu durchforsten. Diese Aufgabe wird häufig Web Scraping genannt (gezieltes Extrahieren der benötigten Daten).

Die Extraktion von Metadaten ist Teil des Data-Mining und der Wissensextraktion. Die Möglichkeit, Inhalte besser zu qualifizieren, ermöglicht einen Informationsgewinn auf der Ebene beschreibender oder typologischer Merkmale (z. B. Inhaltstyp, Autoren, Kategorien), eine bessere Bandbreitenkontrolle (z. B. durch das Wissen, wann Webseiten aktualisiert wurden) oder die Optimierung der Indexierung (z. B. Caches/Pufferspeicher, linguistisch fundierte Heuristiken). Dies ist nützlich für Anwendungen wie Datenbankmanagement, Business Intelligence oder Datenvisualisierung.

Die folgende Arbeit ist Teil eines methodischen Ansatzes, Informationen aus Webdokumenten abzuleiten, um Textdatenbanken für die Forschung, vor allem für die Linguistik und die Verarbeitung natürlicher Sprache, aufzubauen. Datumsangaben sind kritische Komponenten, da sie sowohl für die Philologie als auch für den Kontext der Informationstechnologie relevant sind.

Das Forschungsinteresse am Zentrum Sprache

Am Zentrum Sprache der Berlin-Brandenburgischen Akademie der Wissenschaften und im Zentrum für digitale Lexikographie der deutschen Sprache (ZDL) arbeiten Kolleginnen und Kollegen an einer lexikographischen Informationsplattform (Geyken et al., 2017). Die Plattform bietet Zugang zu einer Reihe von mit Metadaten angereicherten Webkorpora (Barbaresi, 2016). Informationen über Publikations- und Änderungsdaten sind entscheidend, um die Texte linguistisch sinnvoll nutzen zu können, d. h. im Fall der Lexikographie, um genau zu bestimmen, wann ein bestimmtes Wort zum ersten Mal verwendet wurde und wie sich seine Verwendung im Laufe der Zeit entwickelt.

Große „Offline“-Webtextsammlungen sind mittlerweile Standard sowohl in der (computer)linguistischen Forschung als auch der natürlichen Sprachverarbeitung. Der Aufbau solcher Textkorpora beinhaltet vor allem das „Crawling, Herunterladen, Bereinigen, die Deduplizierung der Daten, die anschließende linguistische Annotation und das Einspielen der Daten in ein Instrument zur Korpusabfrage“ (Kilgarriff, 2007). Web-Crawling (Olston & Najork, 2010) impliziert eine gewisse Anzahl von konzeptuellen und technischen Entscheidungen, ohne die sich Daten und Anwendungen in einen „Wilden Westen“ verwandeln (Jo & Gebru, 2020).

Forscher sind mit einem Mangel an philologisch relevanten Informationen über den Inhalt konfrontiert, dessen Angemessenheit, Fokus und Qualität Gegenstand einer Post-hoc-Einordnung sind (Baroni, Bernardini, Ferraresi, & Zanchetta, 2009). Erst im Nachhinein wird deutlich, was im Schlepptau der Maschine zurückgebracht wurde. Im Vergleich zu üblichen Textsammlungen fehlen bei opportunistisch zusammengestellten Webkorpora in der Regel Metadaten, die mit den Dokumenten gesammelt oder aus ihnen gewonnen werden. Eine große Herausforderung liegt in der Fähigkeit, Webdaten so zu extrahieren und vorzubereiten, dass wissenschaftliche Kriterien in Bezug auf die Korpusqualität erfüllt werden.

Diverse Scraping-Techniken werden von Unternehmen und Forschungseinrichtungen eingesetzt. Die Extraktion von Inhalten basiert meist auf der Untersuchung des Document-Object-Models (DOM), d. h. auf der Betrachtung eines gegebenen HTML-Dokuments als Baumstruktur, deren Knoten Teile des zu bearbeitenden Dokuments darstellen. Weniger gründliche und nicht unbedingt schnellere Alternativen nutzen oberflächliche Suchmuster wie reguläre Ausdrücke, um gewünschte Auszüge zu erfassen.

Frei verfügbare technische Lösung

htmldate findet das ursprüngliche und aktualisierte Veröffentlichungsdatum von Webseiten mithilfe von Heuristiken für HTML-Code und von linguistischen Mustern. Es funktioniert sowohl mit der Programmiersprache Python als auch über die Kommandozeile. Als Eingabe können URLs, HTML-Dateien oder HTML-Bäume verwendet werden, die Software gibt dann ein Datum im gewünschten Format aus, wenn sie fündig wurde. Die Ausgabe wird gründlich auf Plausibilität und Angemessenheit überprüft.

Das Softwarepaket basiert auf einer Kombination aus HTML- und Textmerkmalen, wobei die folgenden Methoden zur Datierung von HTML-Dokumenten verwendet werden:

1. Auszeichnungen im HTML-Header: Bestimmte Muster werden verwendet, um relevante Elemente (z.B. Link- und Meta-Elemente) zu identifizieren
2. Quelltext der Seite: Das gesamte Dokument wird dann nach strukturellen Eigenschaften durchsucht. Dabei werden sowohl HTML-Elemente (u.a. abbr und time)sowie eine Reihe von Attributen (z.B. postmetadata) untersucht.
3. HTML- und Textinhalt: Die Seite wird bereinigt und nach Mustern durchsucht. Eine Reihe von Heuristiken wird angewendet, um das beste Datum unter den möglichen Kandidaten zu ermitteln.

Schließlich wird ein Datum zurückgegeben, wenn ein gültiger Hinweis im Dokument gefunden werden konnte, der wahlweise der letzten Aktualisierung oder der ursprünglichen Veröffentlichung (Default-Einstellung) entspricht.

htmldate ist mit allen aktuellen Versionen von Python kompatibel. Das Softwarepaket soll rechnerisch effizient sein und in der Praxis auf Millionen von Dokumenten eingesetzt werden können. Alle notwendigen Schritte vom Herunterladen der Webseiten bis zum HTML-Parsing, Scraping und der Textanalyse werden einbezogen. Es wird unter einer Open-Source-Lizenz zur Verfügung gestellt. Extraktion auf der Basis von Auszeichnungen ist von Natur aus mehrsprachig und textbasierte Verfeinerungen zur besseren Abdeckung unterstützen derzeit Deutsch, Englisch und Türkisch.

Referenzen

• Barbaresi, A. „htmldate: A Python package to extract publication dates from web pages”, Journal of Open Source Software, 5(51), 2439, 2020. DOI: 10.21105/joss.02439
• Barbaresi, A. „Efficient construction of metadata-enhanced web corpora“, Proceedings of the 10th Web as Corpus Workshop (WAC-X), 2016. DOI: 10.18653/v1/W16-2602
• Baroni, M., Bernardini, S., Ferraresi, A., & Zanchetta, E. (2009). The WaCky Wide Web: a collection of very large linguistically processed web-crawled corpora. Language Resources and Evaluation, 43(3), 209–226. DOI: 10.1007/s10579-009-9081-4.
• Geyken, A., Barbaresi, A., Didakowski, J., Jurish, B., Wiegand, F., & Lemnitzer, L. (2017). Die Korpusplattform des „Digitalen Wörterbuchs der deutschen Sprache“ (DWDS). Zeitschrift für germanistische Linguistik, 45(2), 327–344. DOI: 10.1515/zgl-2017-0017.
• Kilgarriff, A. (2007). Googleology is bad science. Computational Linguistics, 33(1), 147–151. DOI: 10.1162/coli.2007.33.1.147.
• Jo, E. S., & Gebru, T. (2020). Lessons from Archives: Strategies for Collecting Sociocultural Data in Machine Learning. In Proceedings of the 2020 Conference on Fairness, Accountability, and Transparency (pp. 306–316). DOI: 10.1145/3351095.3372829
• Olston, C., & Najork, M. (2010). Web Crawling. Foundations and Trends in Information Retrieval, 4(3), 175–246. DOI: 10.1561/1500000017