Schlagwort-Archive: Webkorpora

Ein Blick in die Werkstatt: Bestimmung des Veröffentlichungsdatums bei Webseiten

Datenkuration, DWDS, Forschungsdaten, ,

Datumsangaben als wissenschaftlicher Gegenstand

Obwohl Text im Web allgegenwärtig ist, kann sich das Extrahieren von Webseiteninformationen als schwierig erweisen. Webdokumente gibt es in ganz unterschiedlichen Formaten, vor allem wegen der großen Vielfalt an Genres, Plattformen und Content-Management-Systemen und nicht zuletzt aufgrund sehr unterschiedlicher Publikationsziele seitens der jeweiligen Betreiber.

In den meisten Fällen enthalten die unmittelbar zugänglichen Daten auf abgerufenen Webseiten keine substanziellen oder genauen Informationen: Weder die URL noch die Serverantwort bieten eine zuverlässige Möglichkeit, ein Webdokument zu datieren, d.h. herauszufinden, wann es veröffentlicht oder möglicherweise verändert wurde. In diesem Fall ist es notwendig, das Dokument vollständig zu erkunden oder anhand von robusten Heuristiken zu durchforsten. Diese Aufgabe wird häufig Web Scraping genannt (gezieltes Extrahieren der benötigten Daten).

Ein Blick in die Werkstatt: Bestimmung des Veröffentlichungsdatums bei Webseiten weiterlesen →

Die Webkorpora im DWDS: Jahresrückblick

DWDS, Korpora, Neuigkeiten,

Mit Hilfe großer Korpora können Hypothesen über die Verwendung lexikalischer Einheiten empirisch belegt werden. Das DWDS bietet dafür, neben den zeitlich und in Bezug auf Textsorten ausgewogenen Referenzkorpora und den Zeitungskorpora, eine Reihe von allgemeinen und spezialisierten Korpora an. Letztere heben sich hinsichtlich ihres Gegenstandes oder ihrer sprachlichen Charakteristika von den erstgenannten Korpora ab.

Wie aber werden für das Webkorpus relevante Webseiten “entdeckt”? Es gibt derzeit kein umfassendes Verzeichnis von Webseiten oder Blogs, von dem man für die Zusammenstellung einer solchen Textsammlung ausgehen könnte. Es bedarf also maschineller Methoden, das Web wird via Webcrawling erkundet und Funde im Anschluss in Bezug auf ihre Qualität bewertet. Bei diesem Vorgehen streben wir über die Integration statistischer Merkmale und über formale Kontrollen an, ein Gleichgewicht hinsichtlich des Inhalts zu gewährleisten. Auf diese Weise haben wir die Webkorpora im DWDS auch im Jahr 2020 massiv erweitern und umstrukturieren können. Dieser Blogeintrag möchte die wichtigsten Änderungen und Neuerungen zusammenfassen.

Die Webkorpora im DWDS: Jahresrückblick weiterlesen →

Erweiterung der Korpora im DWDS um die Rubrik „Metakorpora“

DWDS, Korpora, Ressourcen, ,

Mit einem Update vom 7. Mai 2020 wurden die Korpora im DWDS um die Rubrik Metakorpora erweitert. In einem Metakorpus sind mehrere Einzelkorpora gebündelt. Der Vorteil aus Nutzer/innen-Sicht besteht darin, dass thematisch verwandte Einzelkorpora über das entsprechende Metakorpus mit nur einer einzigen Suchanfrage durchsucht werden können. Im Einzelnen: Erweiterung der Korpora im DWDS um die Rubrik „Metakorpora“ weiterlesen →

Eintauchen in die Komplexität der Tech-Blog-Sphäre

DWDS, Korpora, Neuigkeiten, Ressourcen, Web-Plattform, , , , , , , , , , ,

Wir nehmen an, dass die Tech-Blog-Sphäre eine Avantgarde von technologisch und sozial interessierten Experten darstellt, und beschreiben hier einen experimentellen Rahmen, um ihren Beitrag zur öffentlichen Diskussion von Themen an der Schnittstelle von Technologie und Gesellschaft zu untersuchen. Hierfür bringen wir unterschiedliche disziplinäre Ansätze auf einer gemeinsamen Basis von Texten und Werkzeugen zusammen. Der erste Ansatz kommt aus dem Bereich der Korpus- und Computerlinguistik (BBAW), während der zweite aus der Forschung über die Auswirkungen von digitalen Medien auf demokratische Prozesse und Institutionen herrührt (GHI/RRCHNM).

Die im Folgenden beschriebene Zusammenarbeit verfolgt zwei Hauptziele:

  1. Die Erstellung einer Textgrundlage (Deutsch und Englisch) aus einer kuratierten Liste von Blogs zu technologischen Themen für die lexikographische und sprachliche Forschung, sowie
  2. Die Durchführung von exemplarischen Studien mit dem zusammengestellten Korpus, die sich auf spezifische Forschungsfragen zum öffentlichen Diskurs über Internetpolitik in Deutschland und den Vereinigten Staaten konzentrieren.

Eintauchen in die Komplexität der Tech-Blog-Sphäre weiterlesen →

Tagungsbericht: Workshop zu digitaler Kommunikation

Tagungsberichte, ,

Digitale Kommunikation in ihren verschiedenen Formen prägt unsere heutige Gesellschaft und Sprache. Daher ist die Analyse und Dokumentation des Sprachgebrauchs in digitalen Medien nicht nur für die Sprachwissenschaft, sondern auch von allgemeinem gesellschaftlichem Interesse. Gleichzeitig werden hierbei eine Reihe von ethischen, soziologischen, technologischen und technowissenschaftlichen Fragen aufgeworfen, deren Bedeutung über die Forschergemeinschaft hinaus anerkannt wird, zum Beispiel in der forensischen Analyse, wo Beweismittel online gesammelt und bis zu ihrem Urheber zurückverfolgt werden können.

Dieser Blogbeitrag berichtet vom internationalen CLARIN-PLUS workshop “Creation and Use of Social Media Resources”, der im Mai in Litauen stattfand und auf dem unter anderem die angesprochenen Fragen diskutiert wurden.1 Tagungsbericht: Workshop zu digitaler Kommunikation weiterlesen →

  1. Vgl. dazu auch den englischsprachigen vom Autor dieses Blogbeitrags, A. Barbaresi: „Reflections on the CLARIN-PLUS workshop “Creation and Use of Social Media Resources”“ auf dem CLARIN ERIC-Blog, https://www.clarin.eu/blog/reflections-clarin-plus-workshop-creation-and-use-social-media-resources [Zugriff am 15.11.2017]. [↩]