Datumsangaben als wissenschaftlicher Gegenstand
Obwohl Text im Web allgegenwärtig ist, kann sich das Extrahieren von Webseiteninformationen als schwierig erweisen. Webdokumente gibt es in ganz unterschiedlichen Formaten, vor allem wegen der großen Vielfalt an Genres, Plattformen und Content-Management-Systemen und nicht zuletzt aufgrund sehr unterschiedlicher Publikationsziele seitens der jeweiligen Betreiber.
In den meisten Fällen enthalten die unmittelbar zugänglichen Daten auf abgerufenen Webseiten keine substanziellen oder genauen Informationen: Weder die URL noch die Serverantwort bieten eine zuverlässige Möglichkeit, ein Webdokument zu datieren, d.h. herauszufinden, wann es veröffentlicht oder möglicherweise verändert wurde. In diesem Fall ist es notwendig, das Dokument vollständig zu erkunden oder anhand von robusten Heuristiken zu durchforsten. Diese Aufgabe wird häufig Web Scraping genannt (gezieltes Extrahieren der benötigten Daten).
Ein Blick in die Werkstatt: Bestimmung des Veröffentlichungsdatums bei Webseiten weiterlesen