Auf Twitter hat sich John Mueller von Google dazu geäußert, wie eine ungültige URL am Besten behandelt werden sollte – mit einem 404-Statuscode.
Ein 404-Fehler ist für Google ein klares Indiz dafür, dass die betreffende URL nicht mehr existiert. Der 5xx-Fehler hingegen weist auf ein serverseitigen Missstand hin.
Tipp: Eine Übersicht über die verschiedenen Fehler-Statuscodes erhält man hier.
Muellers Ratschlag erfolgte auf eine Frage eines SEOs: der Fragensteller erhielt in der Google Search Console einen Hinweis auf einen 5XX-Serverfehler. Dieser versteckte sich in einem PDF-Dokument in den Fußnoten. Ein Semikolon am Ende der URL führte zu diesem Fehler.
Daraufhin riet Mueller, 5XX-Fehler generell zu vermeiden. Wenn eineURL ungültig für die jeweilige Webseite ist, dann sollte man diese Ungültigkeit mit einem 404-Fehler kenntlich machen.
In general, you should aim to avoid having URLs that trigger server errors (5xx result codes) — regardless of where they come from. If URLs are invalid for your site, you should return 404 so that it’s clear that they’re not valid for your site.
— ? John ? (@JohnMu) 17. März 2019
Anschließend wurde diesbezüglich eine weitere Frage gestellt: Gibt es ein definiertes Zeitfenster, nach dem Google die 404-Fehlerseite nicht mehr crawlt?
Muellers Antwort: Nein, sofern die URL irgendwelche Signale besitzt, beispielsweise durch einen verweisenden Link, wird Google dir URL von Zeit zu Zeit wieder und wieder crawlen.
As long as we have signals for that URL (even if it’s just a random link somewhere), we’ll keep trying it from time to time.
— ? John ? (@JohnMu) 17. März 2019