Mit Hilfe großer Korpora können Hypothesen über die Verwendung lexikalischer Einheiten empirisch belegt werden. Das DWDS bietet dafür, neben den zeitlich und in Bezug auf Textsorten ausgewogenen Referenzkorpora und den Zeitungskorpora, eine Reihe von allgemeinen und spezialisierten Korpora an. Letztere heben sich hinsichtlich ihres Gegenstandes oder ihrer sprachlichen Charakteristika von den erstgenannten Korpora ab.
Wie aber werden für das Webkorpus relevante Webseiten “entdeckt”? Es gibt derzeit kein umfassendes Verzeichnis von Webseiten oder Blogs, von dem man für die Zusammenstellung einer solchen Textsammlung ausgehen könnte. Es bedarf also maschineller Methoden, das Web wird via Webcrawling erkundet und Funde im Anschluss in Bezug auf ihre Qualität bewertet. Bei diesem Vorgehen streben wir über die Integration statistischer Merkmale und über formale Kontrollen an, ein Gleichgewicht hinsichtlich des Inhalts zu gewährleisten. Auf diese Weise haben wir die Webkorpora im DWDS auch im Jahr 2020 massiv erweitern und umstrukturieren können. Dieser Blogeintrag möchte die wichtigsten Änderungen und Neuerungen zusammenfassen.