Webseiten sind nicht für die Ewigkeit gemacht, auch wenn eine regelmäßige Pflege der Seiten eines Internet-Auftritts Texte und Bilder zeitgemäß nachführt und aktualisiert. Vielleicht verschwindet das Produkt aus dem Angebot, wurden Dienstleitungen an die Zeit angepasst.
In einem Content Management System wie WordPress oder Drupal erscheint es einfach, die Seite zu löschen. Content Management Systeme löschen den Link aus den Menüs, allerdings nicht aus dem Text anderer Seiten innerhalb des eigenen Internet-Auftritts. Bei einer erfolgreichen Seite bleiben die externen Links auf die gelöschten Seiten auf der Strecke.
Nicht so schlimm? Immerhin zeigt das CMS dem Besucher, der so einem Link gefolgt ist, anhand der 404-Seite, dass die Seite nicht länger existiert?
Die lange Haltbarkeit der Links
Aber ein Fehler ist ein Fehler. Die Suchmaschinen behalten den Link in ihrem Index, frustrierte Besucher kehren der Seite den Rücken und suchen ihr Glück auf einer fernen Seite. Aus Sicht der Suchmaschinen sind Webseiten allem Anschein nach doch für die Ewigkeit gedacht. Keine will auch nur einen einzigen ergatterten Link aus dem Index verlieren.
Wurde das Produkt durch ein neues Produkt ersetzt, eine neue Dienstleistung ins Repertoire aufgenommen, können gelöschte Seiten auf die neue URL (die Adresse der Webseite – z.B. myshop.de/neues-produkt) umgeleitet werden. Eine permanente Umleitung – redirect 301 oder redirect permanent schaltet sofort bei der Anforderung der Seite die neue Adresse ein und verhindert den 404-Fehler.
Über die Zeit sammeln sich in einem Internet-Auftritt 10, 50 und mehr solcher Umleitungen. 2005 wird eine Seite aus dem Jahr 2002 auf zeitgemäße Seite umgeleitet, 2011 die Version aus dem Jahr 2005 auf eine neue Seite. Irgendwann entstehen zu viele Umleitungen und es erscheint angebracht, die alte Seite nun endgültig aus dem Index der Suchmaschinen zu löschen.
Der Löschvorgang ist alles andere als einfach.
Schritt 1: robots.txt
Zuerst sperrt ein Eintrag in der robots.txt die Seite.
Auf der zu löschenden Seite wird ein Meta-Tag gesetzt, das ebenfalls die Suchmaschinen von der Indexierung der Seite abhalten soll.
Schritt 3: Fehlerdokument für gelöschte Seiten
So wie die Fehlerseite 404.html oder 404.php eine fehlende Seite erklärt, besagt der Statuscode 410, dass die Webseite endgültig gelöscht wurde und teilt den Suchmaschinen mit, dass sie die Seite aus ihrem Index löschen sollen.
ErrorDocument 410 /error410.html
Redirect Gone alte-seite.html
Die Fehlermeldung für Besucher hat eine eigene Seite – error410.html.
Redirect Gone weist die Suchmaschinen an, dass die Seite nicht mehr existiert und endgültig aus dem Suchindex gelöscht werden kann.
Ganzes Verzeichnis als gelöscht kennzeichnen:
RedirectMatch Gone ^/verzeichnis/.*$
Schritt 4: sitemap.xml
Eine aktuelle Sitemap ist sowieso ein Muss. Wenn die Sitemap nicht automatisch vom Content Management System bei jeder Änderung angelegt wird, wird direkt nach dem Eintrag in die .htaccess-Datei eine neue Sitemap erstellt.