Irgendwann muss der Ballast über Bord, denn alte Beiträge verlieren ihre Relevanz, die Besucherzahlen gehen gegen Null und die veralteten Inhalte belasten nur noch die Datenbank.
Die Suchmaschinen löschen eine Seite nicht aus dem Index, auch wenn sie in WordPress oder Drupal gelöscht wurde und nicht mehr in der XML-Sitemap auftaucht. Vielleicht existieren noch Links, irgendwo hat die Wayback-Maschine die Seite im Jahr 1998 erhascht und gecacht.
Wenn eine Seite in der robots.txt gesperrt ist, finden die Suchmaschinen sie trotzdem.
Das disallow verbietet den Suchmaschinen zwar, die Seite zu crawlen, aber nicht die Übernahme der URL in den Index. Und wenn die Seite schon im Index war, denken die Suchmaschinen nicht einmal daran, die Seite wieder herauszupulen.
Crawlen von einzelnen Webseiten verhindern
Google rät, die Seite mit einem Passwort vor dem Zugriff der Suchmaschinen zu schützen. Für Seiten, die nur einem bestimmten Besucherkreis geöffnet werden sollen, ist das der richtige Weg.
Alte Webseiten aus dem Index der Suchmaschinen entfernen
Das ist der erste Schritt: Mit einem speziellen Meta-Tag wird die Seite aus dem Suchindex entfernt:
<meta name="robots" content="noindex">
Dafür ist meist das SEO-Tool des CMS zuständig. WordPress und Drupal brauchen ein SEO-Plugin (wir empfehlen Metatags für Drupal 7, YOAST für WordPress).
Beiträge löschen
Nach ein paar Tagen sollten die Suchmaschinen den Eintrag übernommen haben. Jetzt kann die Seite in den Webmaster-Tools der Suchmaschinen gelöscht werden.
Später können wir in den Webmaster-Tools von Google oder Bing forschen, ob noch alte Links die Seite ansteuern: Dann liefern die Webmaster-Tools trotz aller Maßnahmen eine fehlende Seite.
Am besten bittet man den Webmaster der verlinkenden Seite, den Eintrag zu löschen. Viele Links entstehen aber in Foren und in Facebook, Twitter & Co. Hier wird niemand auf die Anfrage reagieren.
Neuer Wein in alten Fässern
Wenn es keine schlechten Links sind und die Seite einen guten Rank hat, lohnt es sich vielleicht, die URL der Webseite zu behalten.
Eine sinnvolle Alternative zum Löschen einer URL kann ein neuer Inhalt sein.