Wenn man nicht möchte das dynamisch erzeugte Seiten im Google Index aufgenommen werden, kann man – so schreibt Google -:
1. dynamische Seiten über die URL Console aus dem Index entfernen
2. Google von vornerein darin hindern diese Seiten überhaupt erst aufzunehmen
Funktionieren soll das ganze ja angeblich über:
To remove dynamically generated pages, you’d use this robots.txt entry:
User-agent: Googlebot
Disallow: /*?
Punkt 1 hab ich mich noch nicht gewagt auszuprobieren, Punkt 2 scheint nicht zu funktionieren. Hat irgendjemand schonmal irgendwelche Erfahrungen damit machen können?
Kommentare
6 Antworten zu „Aussperren dynamischer Seiten per robots.txt“
Der Googlebot kann angeblich mit Whitecards in der robots.txt umgehen, also würde das einfach den Bot bitten URLs mit einem Fragezeichen drin nicht aufzunehmen.
Vor einiger Zeit hat das insofern funktioniert dass der Bot die Inhalte der Seiten nicht geholt und Google diese dementsprechend nicht angezeigt hat, in den SERPs aufgetaucht sind die Seiten trotzdem.
(Und wieder einmal sind wir bei dem Problem was die robots.txt überhaupt bewirkt bei Google und generell bewirken soll… )
>>in den SERPs aufgetaucht sind die Seiten trotzdem.
Mit cache oder ohne im Index?
Ich mach jetzt einfach mal ne Testseite, mit einigen dynamischen URLs und entferne die dann nach o.g. Muster per URL Console, mal sehen was dann passiert.
Ohne Cache – der Bot hat die Seiten ja nicht besucht. Bloß wurden sie eben wieder durch Links gelistet.
Wird wohl das beste sein hier einfach deine Testergebnisse abzuwarten. Durch die explizite Beschränkung der Regeln auf den Googlebot könnte das Ergebnis vielleicht gar nicht so schlecht ausfallen.
ja schaun wir mal, mit:
User-agent: *hatte ich ja eh so meine Problemchen
Eine andere Möglichkeit wäre über die htaccess den oder die Bots für die nicht zu indizierenden u/o zu löschenden Seiten auf ’n ReturnCode 410 „umzuleiten“. Das scheint mir etwas ungefährlicher als am „offenen Herzen“ zu operieren.
[…] Wo wir wieder bei diesem Thema wären. […]